近期百度站長俱樂部的Lee發了一篇，關於百度蜘蛛（Baidu spider）抓取失敗導致流量流失的原因和影響，感覺很有借鑒意義。下面是原文：
首先說明，spider的抓取失敗分為兩種：百度自身系統問題、外界站長問題。
這裡主要是和各位站長的交流，所以著重說下“外界站長問題”導致的抓取失敗，並且影響到站點從百度獲得的流量問題。
目前百度spider 系統中能夠統計到的失敗分為幾種：
1， UA/IP封禁
對於百度的ua或者IP進行封禁，會導致百度不能成功抓取您的站點，從而不能成功抓取新網頁，以及將之前已經抓到的頁面判定為死鏈，並會進行清理，這樣最終導致站點獲得的流量減少。此外，還會有一些冒充百度spider的抓取和采集，可以使用DNS反查方式來確定抓取來源的ip是否屬於百度，防止誤封禁。
參考資料：Baiduspider常見問題解答
2， 壓力過大的偶然封禁
首先，我們會根據站點的規模，訪問量等信息，建立一個合理的站點抓取壓力。但是會有一些例外，在壓力控制不好的情況下，服務器會根據自身負荷進行保護性的偶然封禁，對於這樣的情況，如果壓力過大，請在返回碼中盡量不要使用404，建議返回503（其含義是“Service Unavailable”）。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閒，那它就會被成功抓取了。
3， 站點服務不穩定&更換服務
盡量的保證您的網站穩定，如果需要暫時換服務，需要暫時讓舊服務能夠使用一段時間，並且做301 跳轉，盡量減少改版帶來的流量損失。雖然百度spider現在對301跳轉的響應周期較長，但我們還是推薦大家這麼做。
除了以上介紹的典型封禁，還有一些其他非典型的，比如：refer、ua作弊、js等，這些封禁都會導致百度失敗，從而把已經抓到的頁面進行刪除，或者不能成功抓取新頁面，這樣會直接影響到網站的流量。
最後，希望站長盡量保持站點的穩定，對於暫時不想被百度抓取的頁面，使用正確的返回碼告知百度，如果確實不想被百度抓取或者索引，可以寫robots信息告知。
此外，我們也會盡最大可能去抓取所有正常站點的內容，並且做好對站點壓力的控制。
轉載請注明來自逍遙博客，本文地址：http://blog.icoa.cn/811.html