搜索引擎為了抓取盡可能多的頁面，它會自動跟蹤頁面的鏈接，通常采用廣度優先、深度優先這兩種遍歷方法。理論上說，無論是采用深度還是廣度策略，只要給蜘蛛足夠的時間，都能抓取到網站頁面內容，但是實際情況是，搜索引擎蜘蛛的寬帶資源、服務器資源等等，都是有限的，因此從實際情況來看，蜘蛛也只能是抓取到互聯網頁面內容的一小部分，還有很大部分的頁面，蜘蛛抓取不到。
哪麼在這種網站之間激烈競爭的態勢下，如何通過吸引蜘蛛來提高網站的收錄呢？SEO學堂認為，要想自己的網站能夠被蜘蛛盡量多抓取，就要想方設法吸引蜘蛛來到您的網站來抓取。既然搜索引擎蜘蛛不能抓取所有頁面，哪麼它就會抓取一些重要的頁面。具體哪些會被蜘蛛認為是重要的頁面呢？有以下幾點影響因素：
高權重、內容更新快且質量高，資格老的這些網站，會被搜索引擎認為是首先要考慮抓取的網站，這類網站通常由於優先被搜索引擎蜘蛛爬行，因此無論首頁、內頁都會被大量收錄，且收錄快照更新快。
更新效率快的網站。蜘蛛一旦把您的站點放入收錄數據庫中，且被蜘蛛所信任後，它就會經常來到這類站點，來查看是否有最新更新內容，如果有頁面更新內容，頁面出現很多新的鏈接，哪麼蜘蛛收錄更新的速度也會相應提高，反之則大大降低收錄快照更新效率。
導入鏈接多且廣泛。外鏈、內鏈，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。導入鏈接多且廣泛的站點，通常被蜘蛛爬行的深度也相應增加。
首頁鏈接的權重相對較大。蜘蛛普遍認為，網站的首頁是權重最大的，因此距離網站首頁越近的鏈接，同樣的頁面的權重也越高，被蜘蛛爬行收錄的幾率也越大。
學習SEO的目的是為了運用SEO，從蜘蛛的爬行原理分析，新站要想被蜘蛛快速收錄，就應該提高網站的更新頻率，多為用戶提供高質量的文章，同時要廣泛的發展外鏈與做好站內鏈接優化工作，這樣蜘蛛自然就會快速建立起對您站點的信任，從而提高您的站點收錄效率，進一步提升網站的SEO關鍵詞排名的目的。
學完了該課程的SEOER，還閱讀了網絡seo培訓班免費教程系列。