網站建設中一項重要的工作就是改版，每次改版肯定是往好的方面進行，因為每個階段的定位不同，我們要網站所表現的企業形象也不同，而且一個好看大氣的網站絕對能夠在潛在客戶心裡提升我們公司的地位。但是多數的改版對於我們網站的SEO都會造成一定的影響，這裡就需要我們對網站的情況掌握的非常熟悉之後，然後進行有效地控制，減少改版造成的404頁面過多情況。
最近有一個新網站上線，因為是一年多的域名，之前網站和新站內容完全不同，網站結構也做了很大的調整，所以帶來了很多的404錯誤抓取頁面，當時並沒有特別注意這個問題，後來持續更新了2個星期左右，發現快照都沒有更新，發了一些簡單的外鏈也沒有作用，這個問題就引起了我的注意。下面具體的跟大家分析下自己的一些思路：
1、利用日志分析工具找到404錯誤抓取頁面
日志分析工具利用最常用的光年日志分析工具就可以了，首先利用FTP下載好最近幾天的網站LOG日志，當然，想更多的分析，那麼多下載一段時間的LOG日志也可以，利用日志分析工具新建任務分析各個階段的百度蜘蛛抓取情況，這裡主要考慮百度抓取情況，因為建立這個分析工作的前提是快照停滯，收錄為1。
這裡建議大家分為三個時間段來分析：
A、分析最近一天的LOG日志，可以是今天的，但是最好是昨天的，因為昨天的會比較全，今天的你即使是晚上來分析也會有一部分時間沒有統計到。
B、分析改版之後的LOG日志，因為這涉及到百度蜘蛛對於網站改版的一些判斷，例如我們可以分析百度蜘蛛什麼時候開始判斷網站已經改版，或者什麼時候已經放棄對於舊站URL的抓取等等。
C、改版前後抓取量的對比，分析改版對於百度蜘蛛的抓取量影響多大。
至於日志分析工作後面的分析工作都是一鍵式的，具體的分析思路有了之後，我們對照著進行分析，就會找到很多平時我們沒有注意到的問題，例如下面出來改版造成的404頁面，還有不少的頁面也是404錯誤，我並沒有意識到，例如下面的wp-login.php頁面就是一個最典型的例子：
404錯誤抓取頁面
2、利用百度站長工具中的死鏈提交工具進行死鏈提交
百度站長平台LEE團隊說：404狀態碼代表‘Not Found’，spider更新時會認為該頁面已失效，此時呢將在索引庫中刪除，短期內spider再次發現該url不再會抓取。當然，百度的說法只能作參考，因為分析網站日志發現，2個多星期百度蜘蛛還是來抓取這些錯誤頁面，當然，百度對於404錯誤頁面的指導性操作，還是非常有針對性的。
vcyottQ0MDTSs8PmtcS/tLeo" height="144" src="http://www.2cto.com/uploadfile/2013/0605/20130605020533886.jpg" width="493" />
百度站長平台對404頁面的看法
特別是死鏈提交工具中提交死鏈sitemap，這一條大家可以根據自身的情況進行死鏈提交，我這邊提交後暫時還沒有大的效果，因為大家都知道百度的效果展現周期一般都比較長。
3、利用robots.txt和nofollow標簽引導蜘蛛抓取
404錯誤頁面一個最大的壞處就是給蜘蛛帶來一些錯誤的抓取，浪費了蜘蛛抓取資源，舉個例子，首先我們要達成這樣的一個共識：任何一個網站的蜘蛛抓取訪問資源都是有限的，小網站自然要少很多，而大網站就要多很多，要想蜘蛛抓取率更高，抓取的更合理，那麼一些錯誤的鏈接造成的404錯誤量就要盡可能的減少。
所以我這裡針對網站的這些資源的浪費進行了適當的引導，讓蜘蛛抓取我想讓他抓的一些頁面，對於/wuchenshi/、/gaoxiao/等類似的欄目頁面都進行robots限制抓取，對於網站中一些不參與排名的鏈接實行nofollow，引導蜘蛛抓取重要頁面。下面看看蜘蛛6.3號抓取的情況，首先目錄抓取中已經沒有了網站中不存在的目錄：
蜘蛛對目錄的抓取情況
對於蜘蛛訪問的404頁面，就只剩下一個圖片的404錯誤抓取：
改進後404錯誤抓取
目前還沒有看快照更新和收錄增加，當然，理論上這種操作應該會幫助網站更快的獲得搜索引擎的認可，後面如果有恢復，會在文章中為大家做一個補充。
本文由虛雨網絡(http://www.xuziyu.com) SEO虛子雨發表，歡迎大家轉載，轉載時請注明出處，謝謝合作!