在交換鏈接的時候,收錄往往都是作為一個評判網站權重的一個標准。所以通過各種手段增加網站收錄量也是各位站長一直努力的方向。但是,有些網站你會發現,收錄量會經常大起大落,從而對網站造成了權重不穩定,關鍵字也是上上下下。造成這樣的結果是因為,在網站收錄中,有很多質量差的文章,搜索引擎只要調整了門檻,一下就能把全部去掉了。要讓網站更穩定地發展,應該適當地減少不必要的收錄。
避免重復收錄
這個在《百度搜索引擎優化指南》裡面已經特別指出了。如果一個頁面有多個不同的網址,搜索引擎會自己選擇一種為標准,收錄的時候也可能都收錄。重復的內容對於百度來說是非常不友好的。這就要統一鏈接形式,屏蔽的方法有很多,比如百度推薦的用301永久跳轉到標准的url,或者也可以采用偽靜態統一全部的鏈接,也可以直接用robots屏蔽掉非標准的url。
屏蔽對搜索引擎不友好的頁面
網站的文章是面向用戶的而不是面向搜索引擎。但是搜索引擎有搜索引擎的評判標准,用戶有用戶的評判標准。搜索引擎目前還無法達到與用戶標准一致的程度,適當屏蔽掉對搜索引擎不友好的頁面是必要的。這種情況是很多的,比如你是一個論壇,你為用戶們開了一個廣告區,但是用戶所發的文章質量都非常差的或者都是到處鏈接,特別是鏈接裡面可能會有被百度懲罰的網站,這個時候你屏蔽掉這些內容,對於你來說是比較好的。還有一種情況就是用戶的資料頁面,雖然用戶注冊了,但是填寫詳細資料的卻非常少,這也就造成了同質性太大的頁面太多了,這也是應該用robots屏蔽掉的。
屏蔽死鏈
網站改版的時候,會有這樣的情況,就是一次性放棄了整個欄目。情況有兩種,一種是已經收錄的、另一種是還沒收錄的。其實無論哪種,都應當做好措施,即使沒有被收錄,不代表沒被百度抓取,有時候百度抓取了一段時間才放出來。這個時候出了用404頁面來跳轉,也可以利用robots屏蔽掉整個欄目下的內容,不讓搜索引擎抓取。
屏蔽後台等不必要的頁面
網站往往有些頁面是站長自己用的,或者是登錄用戶用的。這些都不必對外公開,而且處於安全性,最好也不要被搜索引擎收錄。搜索引擎也是游客,抓不到任何需要登錄後看到的東西。這些都可以屏蔽掉。
網站的收錄並不是越多越好,特別是對於百度現在規則不斷地更新,不友好的頁面只會增加網站的不安全性,像是一個定時炸彈。說不定哪天百度更新了嚴格的規則,就把這些東西作為處罰對象了。保證優質的內容收錄,更有利於網站的穩定發展。