從做SEO開始老大就一直給我灌輸：“要做科學的SEO，不管流量是漲還是降都要知道其中來源，而要了解這些同時判斷網站流量的走向就必須要靠日志分析，而不是憑感覺的猜測是哪些因素使用流量發生變化”。因此從一開始就從數據入手，對於網站的數據時實監控，從數據中判斷網站的問題所在，然後做出相應的改變。這也是我們網站能一直穩定發展從流量的直線下降到回升直到大漲的一個原因所在。
最近網站的流量一直漲得非常的快，但是網站某一部份的抓取量卻直線下降，不過索引量還在不斷的提升流量也在不斷的上漲。也就因為這樣在8月底就發現抓取量的下降，但一直被前眼的流量所迷惑沒有對抓取下降做個數據分析，同時也是由於在做一些優化而忽略了抓取量這一塊，一直到今天才對這一塊的數據做了個初步的分析，下面就把一個簡單的分析思路和結果分享給大家：
首先為了明確的知道具體哪一天抓取量出現了大的變化，同時和每個月有一個較明顯的對比，因此首先統計了下日志裡從6月份到9月17號的每天抓取量如下圖：
根據這個統計圖可以看出，在6月抓取量還是正常的波動，同時七月底抓取上有明顯的上升，但是8月10號開始往下波動後就再也沒有回到原來的至高點。同時9月8號左右開始呈直線下降趨勢，從這個圖就可以初步的看出，網站在7月26號開始做過對抓取方面的優化，同時10如果屬正常波動的話那麼11號12號左右網站應該做過調整，而這個調整是影響蜘蛛對網站的抓取的。網站從9月4號開始抓取量上升，同時8號開始下降，這兩個時間點也是有待去分析的。
接下來按照以前分析網站的慣例首先分析了下網站的響應時間走勢，如下圖所示：
從上面兩個圖對比分析：
首先，9月份的響應時間曲線波動非常的大，而抓取量波動也很大，而且曲線的波時恰恰相反。 4號開始響應時間在下降，同時網站的抓取量在往上升，一直到8號響應時間降到了最低點在這個上抓取量也上升到最高點從9號開始響應時間上升，抓取量也開始下降，而且一直降，再也淌有回漲過，雖然13號開始網站的響應時間又下降，但是抓取量還是一直下降。
從上面對9月份的分析可以看出，9月份影響蜘蛛對網站抓取的最明顯問題是網站的響應時間，這一段時間服隨著流量的上漲，服務器的壓力也在上升，導致網站的響應速度下降了很多而影響了蜘蛛對網站的抓取。但是13號開始抓取量還在降則可能除網站響應速度外還有其它的原因所在。因此接下來分析了下8月份的數據曲線圖：
對於8月份，10號抓取量達到最高點以後抓就開始下降，且一直再也沒有回到那個至高點，按道理來講每天網站定期更新大批量的數據，抓取量應該是上升的，但是它在降。而對比下圖發現，8月份的26號以前響應時間非常平穩，而且都比較快。從這一對比可以說明8月份抓取量的波動和網站的響應速度沒有任何關系。
因此接下來就分析了下蜘蛛在8月份對網站抓取所返回的狀態碼：如下圖：
從上圖可以看出，蜘在8月份對網站的抓取過程中出現了2%的500狀態碼。而據數據統計，這時2%的數據全部來自於8月11號到13號。也就是說這三天網站出現過嚴重的網站內部錯誤，服務器不能完成請求。
因此分析了下在8月10號前後對網站的改動：通過對網站代碼的分析（因為做技術的，網站代碼的改動時間很容易找出），發現在8月11號的時候網站添加了一個功能，而這個功能取數涉及三張表，而在取數時忽略了一個環節，因此在網站功能更新後的三天內產生了很多錯誤頁面直到三天後發現才改掉。
綜合上面的兩個分析可以看出近期的抓取量下降主要是兩個原因：
1、網站訪問量大導致響應速度下降。
2、網站內部的錯誤導致蜘蛛對網站產生一個新的不利的判斷。
當然這只是初步分析後得出的兩個結論，日志還得繼續分析因為在後續的分析中還發現最近網站產生了很多垃圾鏈接，而這些鏈接的來源可能也是程序方面出現問題。所有的問題都從IIS日志的分析中慢慢的浮出水面。 原因找到了，解決方案已經非常簡單，征對相應的問題做處理就是了。
原文地址：天涯獨行的博客
注：相關網站建設技巧閱讀請移步到建站教程頻道。
收藏本文