之前做過一個網站遇到這樣的問題:網站改版之後遺留了很多死鏈接,為了讓百度不收錄這些頁面,於是設置了404頁面,但是後來發現,這些大量的404頁面百度仍然在收錄,多次向百度提交過死鏈,依然沒有改善。有人說這是百度的問題,很多人都遇到過這種情況。這樣的問題如果屬於比較小型的網站可能很難感覺到影響,但是一旦網站規模比較大,而且死鏈又比較多,就會對網站本身的收錄、權重、排名、流量帶來影響。
最後在一些朋友的幫助下,404頁面的收錄問題終於得到解決。這裡也說一些題外話,如果你的網站遇到了自己暫時不能解決的問題,不妨多和別人溝通交流,相信會有人能很快的解決你的這些疑難問題。
我們都知道404頁面的一些基本規則,但是卻很少有人重視,即使你發現了這些問題也因為感覺問題不大就沒有繼續深究下去。不過,如果你任由這樣的漏洞存在,時間長了就會自食其果了,所以筆者建議作為站長,任何細微的問題都應該有窮追猛打的勁頭。這裡,我將自己對404頁面的一些新的認識分享出來,也歡迎更多的朋友跟我交流合作。
404頁面會不會被收錄
關於這個問題,看法並不統一,有人說404頁面不會被收錄,404本身就是告訴搜索引擎以及訪問者這個頁面已經不存在了,請繞道或者去其他的頁面逛逛。也有一些人認為404頁面會被收錄。在企贏001可以找到比較專業的說法:搜索引擎不會收錄404頁面,但是有例外的情況,那就是已經收錄過的頁面被刪除後設置的404,百度會收錄。這一點,跟筆者的網站遇到的情況類似,筆者也是通過企贏001的專家才解決了這些問題。
404頁面被收錄的危害:
404頁面收錄的一個特征就是已經設置了404的頁面,百度仍然放出來,可以檢索的到,但是快照一直不會更新。
少數的404頁面被收錄,或者你的網站本身就沒有多少404頁面,就不會感覺多有多少危害。而對於哪些成立不久,但是發展快速的網站來說,龐大的數據之下就必然有大量的死鏈、錯誤鏈接,這時候你就不能回避404頁面被收錄的問題。讓我們先來看一下404頁面被收錄的一些危害:
1、頁面對搜索引擎來說沒有價值
對於搜索引擎來說,一個URL就是一個頁面,一般來說網站的404頁面都是一樣的設置,所以一旦搜索引擎蜘蛛抓取了這些頁面,就會導致有大量的頁面內容相同,可想而知,搜索引擎會如何對待你的網站。
2、影響其他頁面的收錄和權重,進而影響流量
網站的權重影響蜘蛛的抓取時間和抓取次數,所以一個網站能夠得到多少蜘蛛的多少次抓取都是相對固定的,換句話說蜘蛛在一段時間內抓取你網站的數據是有限的。假設蜘蛛把資源都浪費在這些404頁面了,那網站中真正有價值的頁面的抓取量就變少,這些404頁面99%的都因為沒有價值而不會被收錄,這樣就會影響網站的收錄,同時會影響網站的流量。
如果需要刪除被收錄的頁面應該如何處理?
1、頁面數量少,可以設置成404頁面,404的頁面的狀態碼必須是404(Not Found),這樣搜索引擎才會認為網頁已經失效,會將頁面從搜索結果中刪除。
2、如果被收錄的頁面數量多,考慮到網站權重的問題,可以設置成301重定向,將權重專遞下去,不過這一點也需要慎重。
3、你確定這些大量的收錄頁面需要從收錄結果頁刪除掉,可以利用robots.txt文件,禁止蜘蛛爬行。
實踐中遇到的問題往往比較復雜,單純從網上搜索關鍵詞來找答案,一般快速的解決問題,正如前面所說的,與別人溝通、交流才能解決問題,提高自己。
注:相關網站建設技巧閱讀請移步到建站教程頻道。
收藏本文