今日熊向陽跟大家分享一下有關搜索引擎蜘蛛的相關內容。我們都知道互聯網上的頁面都是又蜘蛛抓取的，其實蜘蛛是一段代碼程序，當互聯網出現新頁面產生時蜘蛛就會過來爬。由於互聯網每天將產生幾千億頁面，那麼一個蜘蛛是絕對無法在短時間內爬完，所以搜索引擎會產生大量的蜘蛛盡可能的爬完整個互聯網。每個蜘蛛代表的意義又不同，那麼我們怎麼知道哪些蜘蛛是抓取首頁，哪些是抓取內頁呢?
本文僅供參考讓大家對IIS日記各引擎的蜘蛛IP有個更深的了解，根據不同的IP我們可以分析網站是個怎樣的狀態.下面就按照IIS日記上的百度蜘蛛IP為例:
123.125.68.* 這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了，或被者降權。
220.181.68.* 每天這個IP 段只增不減很有可能進沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，准備抓取你東西。
121.14.89.* 這個ip段作為度過新站考察期。
203.208.60.* 這個ip段出現在新站及站點有不正常現象後。
210.72.225.* 這個ip段不間斷巡邏各站。
125.90.88.* 廣東茂名市電信也屬於百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的。
220.181.108.95 這個是百度抓取首頁的專用IP，如是220.181.108段的話，基本來說你的網站會天天隔夜快照，絕對錯不了的，我保證。
220.181.108.92 同上98%抓取首頁，可能還會抓取其他 (不是指內頁)220.181段屬於權重IP段此段爬過的文章或首頁基本24小時放出來。
123.125.71.106 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或采集文章。
220.181.108.91 屬於綜合的，主要抓取首頁和內頁或其他，屬於權重IP 段，爬過的文章或首頁基本24小時放出來。
220.181.108.75 重點抓取更新文章的內頁達到90%，8%抓取首頁，2%其他。權重IP 段，爬過的文章或首頁基本24小時放出來。
220.181.108.86 專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
123.125.71.95 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或采集文章。
123.125.71.97 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或采集文章。
220.181.108.89 專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.94 專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.97 專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.80 專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.77 專用抓首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
123.125.71.117 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或采集文章。
注：以上IP尾數還有很多，但段位一樣的123.125.71.* 段IP 代表抓取內頁收錄的權重比較低.可能由於你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。
220.181.108.83專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.* 段IP主要是抓取首頁占80%，內頁占30%，這此爬過的文章或首頁，絕對24小時內放出來和隔夜快照的，這點我可以保證!
一般成功抓取返回代碼都200，返回304代表網站沒更新。
本文來源於熊向陽SEO博客, 原文地址：http://www.xiongxiangyang.com/seojishu/172/