今天早上使用site:www.wengerbag.com搜 索收錄時，發現威戈箱包網被 SOSO收錄了，距離上線12小時。SOSO永遠都是那樣的善解人意！上線15小時後，goolge也收錄了威戈箱包網。google對新人站果然夠友好！
其實9月8日晚上8點多威戈箱包網上線並發了外鏈後，從日志上看到google機器人是幾分鐘之後8點28分就光顧了網站，百度蜘蛛半個小時後出 現，soso蜘蛛又晚了二十分鐘，即比google機器人遲到了五十分鐘後。
從蜘蛛爬行威戈箱 包網的情況看，SOSO很奇怪，首先是抓了robots.txt，然後就沒有了下文——是因為夜晚太繁忙了？一直等到凌晨一點，SOSO又抓取了 威戈箱包網的首頁及必要的腳本，然後又潛伏了起來。早上8點，SOSO又來抓取了一下首頁。這期間威戈箱包網沒有更新，所以首頁沒變化，SOSO也就再次 撤退。
google機器人也是先抓取robots.txt文件，然後立即抓取首頁。一個半小時後花9點52分，google機器人再次出現還是抓取 robots.txt文化，然後抓取首頁。又過一個小時到了11點04分，google機器人開始爆發了，它還是先抓取威戈箱包網的robots.txt 文件，然後抓取了目錄頁和其它的文章頁，比較奇怪的是，這些抓取並不是馬上完成的，中間有時間隔了一個小時。所有頁面的抓取在凌晨一點前完成。截止上午 11點發稿，google機器人沒有再來過威戈箱包網。
百度蜘蛛的抓取特點極為明顯。從8日晚8點半到9日上午11點，百度蜘蛛共光顧威戈箱包網11次。在長達11次的試探中，百度蜘蛛的試探規律很有意思，8 點56分抓取了首頁，半分鐘後再次抓取首頁，又過三分鐘再來，又過三分鐘再來，估計看到首頁沒變化，又過了半小時才來，然後又過了一刻鐘過來，接下來又是 一小時或一刻鐘一來，10點48分百度蜘蛛全面撤退。今天上午9點時，百度蜘蛛在兩分鐘內兩次光顧威戈箱包網首頁，大概見到首頁還是沒更新，近11點時又 過來抓取了一次。
百度蜘蛛來威戈箱包網每次都是直奔首頁，對robots.txt置若罔聞，說明百度蜘蛛還是有點暴力的——你的聲明我不在乎！同時對於一個新接觸的站，百 度只關注首頁，對內頁不聞不問。
從三個蜘蛛的爬行規律來看，站長們應當及時更新站點，尤其是首頁，一定要保持每天的更新狀態。對於新站，如果想要迅速引起蜘蛛的興趣，可以考慮“少食多 餐”的做法，每隔一段時間就發一篇文章，這個效果比一次性發出所有的效果好。
感謝 長天博客 的投稿
- 上一頁:兄弟別問什麼是SEO SEO就是堅持
- 下一頁:淺談利用SEO怎麼在網上賺錢