搜索引擎蜘蛛是一個自動抓取互聯網上網頁內容的程序,每個搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬蟲、搜索引擎robot。
國內各大搜索引擎蜘蛛名稱:
百度:百度spider
谷歌:googlebot
搜狗:sogouspider
搜搜:Sosospider
360搜索:360Spider
有道:YodaoBot
雅虎:YahooSlurp
必應:msnbot
Msn:msnbot
以上是常見的搜索引擎蜘蛛(爬蟲),如果你的網站不想讓讓某些蜘蛛抓取,那麼可以通過robots.txt來限制爬蟲的抓取。