每個搜索引擎在收錄網站頁面時都會有自己的規則，百度相對來說要求會嚴格些，有的站每天也增加了大量的文章，可就是不收錄，或是收錄很少，那為什麼搜索引擎的收錄量不增加呢？
搜索引擎的蜘蛛程序是一只有思維、有辨別能力的蜘蛛。我們別把它當成單純的網站內容搬運工，它在讀取你內容的時候，它會對這些內容進行價值以及其他方面的辨別。作為網站的管理員，要研究蜘蛛的規則、爬取規律等，與搜索引擎的蜘蛛打交道也是重要的一門學問。
基本當搜索引擎收錄了站點之後，並且也已經能夠看到搜索引擎收錄的數量，我們所希望的一定是讓搜索引擎收錄更多的頁面。如果要提高搜索引擎的收錄量，大量增加網站內容是其一。我們更多要做的是為搜索引擎的蜘蛛程序打造一個良好的網站結構。優化網站內部鏈接，良好的網站結構會讓蜘蛛順著鏈接，一層層的讀取網站的內容。網站結構差的網站，會讓蜘蛛感覺走進了迷宮。如果你的網站很龐大，最好是建立清晰的網站導航、全面的網站地圖等用戶體驗應用，這樣做能夠引導蜘蛛也方便網站的用戶。
還有最重要的一點就是網站要有真正實際的內容，每天可寫些相關原創文章。這樣搜索引擎的蜘蛛自然會每天光顧您的網站,自然會收錄網站更多的頁面。