3月1日開始著手制作一個服裝類型的新網站，在本地調試完畢後上傳到空間。這個網站無論從域名、空間還有網站內容都是全新的，域名和空間是當天注冊和購買的，我具體觀察了百度和谷歌的蜘蛛抓取情況以及新站收錄的整個過程。對於一個全新的網站，百度和谷歌在爬取網站內容和收錄過程都有許多差異，主要表現在以下幾個方面：
一、蜘蛛抓取差異
我一直喜歡觀察蜘蛛行蹤，筆者在許多站長群裡面被稱為“蜘蛛俠”，就是來源於我的這個習慣和愛好。這次上新站這樣的機會是肯定不能錯過的。網站內容上傳完畢後，首先去幾個門戶論壇發帖回復引蜘蛛，幾個小時後訪問日志已經產生了，百度蜘蛛的速度較快，在谷歌之前來到了網站。通過日志查看，谷歌的蜘蛛非常有趣，反復爬取robots文件10多次以後才小心翼翼的抓取首頁，之後一邊爬取robots一邊抓取網站內頁。而百度蜘蛛則顯得比較著急，我的網站是制作了robots文件的，但是百度並不爬取此文件，直接去抓取網站首頁，而且顯得非常饑餓和瘋狂，在1分鐘內，反復爬取首頁20多次，之後再去抓取內頁。返回狀態碼200 0 0，表示全部抓取成功。感興趣的朋友可以到我的網站查看昨天的蜘蛛抓取日志，一個新站的抓取過程，對於研究蜘蛛的規律和性格有非常不錯的參考價值。
從上面的過程可以看出，谷歌的蜘蛛比較有禮貌和注重禮儀規矩，會反復敲門得到陌生新主人許可後才進去，之後的每一個行為都參照robots規則來進行內頁的抓取，讓我想起了解放軍的三大紀律八項注意，在這裡贊一個。而百度蜘蛛忽略robots，進門反復咬首頁10多口才放手的行為，讓人感覺很暴力很野蠻，蜘蛛吃完首頁繼續吃內頁，這個過程中百度蜘蛛完全無視robots文件的存在。
二、網站收錄差異
幾小時後site谷歌，已經收錄了新站的2個頁面，其次是搜搜在24小時內收錄了首頁。新站到現在為止已經誕生30多小時了，而百度至今還沒放出首頁。由於搜索機制和規則不一樣，目前來說新站收錄效率來講谷歌最給力，百度慢了好幾拍。
以上分享的是筆者的新站在谷歌和百度抓取和收錄過程中的差異，希望通過這個案例，給研究SEO的朋友和需要上新站的朋友一些學習參考和靈感，讓你更了解谷歌百度的抓取規則和收錄流程。
本文為rip淘寶裂帛女裝www.21rip.info站長原創，如需轉載請注明和保留以上信息。
感謝 聖殿傳媒 的投稿