DIV CSS 佈局教程網

 DIV+CSS佈局教程網 >> 網頁SEO優化 >> SEO優化集錦 >> 關注百度蜘蛛IP 近距離了解站點收錄情況
關注百度蜘蛛IP 近距離了解站點收錄情況
編輯:SEO優化集錦     

 眾所周知,百度蜘蛛,是百度搜索引擎的一個自動程序,它的作用是訪問收集整理互聯網上的網頁、圖片、視頻 等內容,然後分門別類建立索引數據庫, 使用戶能在百度搜索引擎中搜索到您網站的網頁、圖片、視頻等內容。分析和了解百度蜘蛛你可以很直觀的掌握自己站點收錄情況,當你了解百度蜘蛛以及其對應蜘 蛛IP的含義後,你再也不必要在不知情的情況因為站點遲遲不為百度收錄而煩惱,也不會因為百度短暫的快照不更新而放棄原本一顆堅持建站的心,那麼剩下的就 只有肯勤奮的付出,堅持原創,堅持外鏈,站點可觀的收錄和理想的排名將成為水到渠成的事,這一切只因為你深刻了解百度蜘蛛。

  那麼我們通過什麼方式去了解一個個搜索引擎的蜘蛛程序呢?

  其實很簡單,每一個蜘蛛程序就猶如一個用戶,他對任意站點的訪問,都尤其訪問的軌跡,linux主機下我們完全可以透過網站主機日志文件去觀察和分 析各大搜索引擎的蜘蛛來訪情況,並根據來訪Ip去分析和判斷當前站點具體收錄情況,了解和分析站點目前所存在的問題,諸如:URL是否符合蛛蛛抓爬習 慣,robots.txt文件是否設置合理,網站結構是否合理等。本文主要以百度蜘蛛作為分析和介紹對象,從而幫助站長能更好的針對自己的站點進行SEO優化和推廣。

  首先,我們先來看看一下具體的日志截圖(該截圖來源於本博客網站)

  

untitled

 

  百度蜘蛛IP分析

  透過以上截圖可以得知百度蜘蛛來訪時以Baiduspider名稱顯現,並且來訪IP存在多個,那麼多的百度蜘蛛IP到底分別是代表啥呢?

  在百度站長平台《百度spider介紹》一文中已有相應的解釋、並且清楚的說明百度不同的產品使用不同的user-agent

 

QQ截圖20131207094137

  本人在此也不具體分解,有了解必要的朋友可以去參看原文,原文地址:http://zhanzhang.baidu.com/wiki/161

  今天想給大家介紹的主要是百度蜘蛛IP、從本博客的站點日志截圖可看出,Baiduspider是多個IP來訪的,那麼具體分

  為哪幾類蜘蛛、具體有代表啥意義呢?

  一、代表性沙盒蜘蛛IP:

  123.125.68.* 這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。

  220.181.68.* 每天這個IP 段只增不減很有可能進沙盒或K站。

  二、代表性正常蜘蛛IP:

  220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,准備抓取你東西。

  121.14.89.* 這個ip段作為度過新站考察期。

  203.208.60.* 這個ip段出現在新站及站點有不正常現象後。

  210.72.225.* 這個ip段不間斷巡邏各站

  125.90.88.* 廣東茂名市電信也屬於百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合

  檢測造成的。

  220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網站會天天隔夜快照,絕對

  錯不了的,我保證。

  220.181.108.92 同上98%抓取首頁,可能還會抓取其他 (不是指內頁)220.181段屬於權重IP段此段爬過的文章或首頁

  基本24小時放出來。

  123.125.71.106 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.91屬於綜合的,主要抓取首頁和內頁或其他,屬於權重IP 段,爬過的文章或首頁基本24小時放出來。

  220.181.108.75重點抓取更新文章的內頁達到90%,8%抓取首頁,2%其他。權重IP 段,爬過的文章或首頁基本24

  小時放出來。

  220.181.108.86專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  123.125.71.95 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  123.125.71.97 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.89專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.94專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.97專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.80專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  220.181.108.77 專用抓首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  123.125.71.117 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。

  220.181.108.83專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。

  注:以上IP尾數還有很多,但段位一樣的123.125.71.*段IP 代表抓取內頁收錄的權重比較低.可能由於你采集文章或拼

  文章暫時被收錄但不放出來.(意思也就是說待定)。

  220.181.108.*段IP主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照

  在了解蜘蛛IP對應的作用和含義後,我們如何判斷百度到底有無收錄或抓取站點內容呢?大家可以根據每一行日志後

  抓取返回的狀態響應碼去分析:

  1、成功抓取 返回代碼是 200 0 0;

  2、網站沒更新 返回代碼是304 0 0;

  3、蜘蛛來過 返回的是200 0 64

  本文由《點滴互動》SEO優化 欄目整理提供,轉載須注明出處,謝謝!

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved