我們每天發出來的文章，被搜索引擎收錄了。那這些搜索引擎是如何收錄這些文章頁面的呢？那就得說網絡蜘蛛了。
百度蜘蛛，英文名是“baiduspider”,是百度搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立索引數據庫，使用戶能在百度搜索引擎中搜索到網站的網頁。
搜索引擎內部是有一個網址索引庫的，所以搜索引擎蜘蛛是從搜索引擎的服務器出發，順著搜索引擎已有的網址爬行一個網頁，並將網頁內容抓取回來。頁面采集回來之後，搜索引擎會對其進行分析，將內容和鏈接分開，內容暫時先不說。分析出來鏈接之後，搜索引擎並不會馬上去派蜘蛛進行抓取，而是把鏈接和錨文本記錄下來交給網址索引庫進行分析、對比和計算，最後放入網址索引庫。進入了網址索引庫之後，才會有蜘蛛去抓取。
也就是如果出現了某個網頁的外鏈，並不一定會立刻有蜘蛛去抓取這個頁面，而是會有一個分析計算的過程。即便是這個外鏈在蜘蛛抓取之後被刪除了，這個鏈接也有可能已經被搜索引擎記錄，以後還有抓取的可能。而且下次如果蜘蛛再去抓取這個外鏈所在頁面，發現江禮坤鏈接不存在了，或者外鏈所在頁面出現了404，那麼只是減少了這個外鏈的權重，應該不會去網址索引庫刪除這個鏈接。
一：認識百度蜘蛛
1、在一般情況下，Baiduspider對網站的服務器不會造成過大壓力。Baiduspider會自動根據服務器的負載能力調節訪問密度。在連續訪問一段時間後，Baiduspider會暫停一會，以防止增大服務器的訪問壓力。所以在一般情況下，Baiduspider對你網站的服務器不會造成過大壓力。
2、不想網站被Baiduspider訪問，你可以利用robots.txt文件完全禁止Baiduspider訪問您的網站，或者禁止Baiduspider訪問您網站上的部分文件。 注意：禁止Baiduspider訪問您的網站，將使您的網站上的網頁，在百度搜索引擎以及所有百度提供搜索引擎服務的搜索引擎中無法被搜索到。
3、如果你希望網站內容被百度索引但不被保存快照，你可以利用網頁meta的設置，使百度顯示只對該網頁建索引，但並不在搜索結果中顯示該網頁的快照。
4、防止有人冒充百度蜘蛛。如果你網站的帶寬堵塞，造成此現象可能是由於有人冒充baidu的spider惡意抓取。如果您發現有名為Baiduspider的agent抓取並且造成帶寬堵塞，您可以將信息反饋至百度網頁投訴中心。
二：怎麼吸引百度蜘蛛
1、導航必須用文字
相信很多的朋友經常可以在很多的企業網站上看到圖片導航，而且一般沒有進行相關的標注。做seo的人都知道蜘蛛對於沒加ALT標簽的圖片和FLASH是不能識別的。而網站的導航又是位於首頁的頭部，對於優化來說是十分重要的地方，這點很重要。可謂是寸土寸金，可惜就這麼白白的浪費了。並且在網速不是很好的時候，加載還很緩慢，等半天圖片都木有刷出來，對於用戶體驗也很不友好。因此廣大朋友在進行網站優化的時候頭部的導航一定要使用文字導航。
2、代碼必須要精簡
大家都知道蜘蛛爬取的是網頁的源代碼和我們人眼睛所看到的是不一在線時間0小時
樣的。如果你的網站到處充滿著js、iframe等蜘蛛不能夠識別的代碼的話，這個就好像這家餐館的食物都不是你喜歡吃的、都是不符合你的口味的，那麼在您去了幾次之後，你還會再去嗎?答案是否定的。因此我們需要精簡網頁的代碼，盡量降低網頁的信噪比，所以最好使用css+div依照w3c規格進行設計，讓蜘蛛走進你家門。
3、內鏈必須四通八達
相信大家都見到過蜘蛛吧，那自然也見到過蜘蛛結的蜘蛛網咯。我們可以看到蜘蛛網的結構是十分美好的，四通八達。同樣我們網站最好也打造成網站內部鏈接的四通八達，這樣不僅可以提升網站的收錄量，也可以提高網站的用戶體驗，還可以促進網站的權重更好的傳遞，可謂是益處多多。
4、網站更新必須勤快
這一點也是很多朋友最難做到的一點，持之以恆。很多的朋友往往是三天打魚兩天曬網，不管是網站還是博客，往往堅持更新一段時間之後，網站博客的更新頻率就越來越低，越來越低，直至後面的停止文章的更新。自然而然，蜘蛛來了一次發現沒有更新，第二次來了還是沒更新，第三次來又沒更新，第四次。。這樣的幾次之後蜘蛛也就不再去你的網站了，或是少去你的網站了。
認清百度蜘蛛，網站優化就會事倍功半。