對於SEO診斷一直是我堅持的一項工作，很多都來自於一些朋友的提問咨詢，以及自己網站問題的發現和研究。今天我再給大家帶來一個診斷案例，主要問題式針對網站收錄和快照不及時的問題。
昨天一個朋友找到我，讓我幫他診斷下網站的症狀，先和他交流了下，了解了一些他網站的情況：他的網站每天都有更新，但是百度第二天都沒有收錄放出，只是在每次周更新或者月更新的時候會放出之前的許多頁面，快照也更新很慢，但是也會隨著收錄放出慢慢跟上，情況持續已經一個多月。下面是我的一個思路，希望對大家有一定的幫助。
首先我建議這位朋友查看網站的LOG日志，因為LOG日志能夠反映百度蜘蛛在網站內部的抓取情況。據我了解，目前很多朋友是沒有查看LOG日志的習慣的，或者說多查看LOG日志有心無力，這位朋友就是，他說他有查看LOG日志，但是卻不懂得怎麼去分析。下面簡單的介紹下我的分析思路。
1、查看搜索引擎蜘蛛的抓取概要分析，了解各個搜索引擎蜘蛛的訪問次數，總停留時間，總抓取量和所占比例，下面是朋友網站的概要分析(利用光年日志分析工具查看結果)，其中可以很清楚的看出，百度蜘蛛對於網站的抓取量還是不錯的，有292詞，訪問次數有126次，總停留時間8.873小時，所占所有蜘蛛比例的41.011%。
網站LOG日志概要分析
有的朋友可能會產生疑惑，既然百度蜘蛛總停留時間這麼長，單次停留時間也不低(PS：蜘蛛單次停留時間=總停留時間/訪問次數=0.0704小時/次=4.225分鐘)，那麼為什麼網站的收錄卻跟不上呢?帶著這樣的疑問，下面再分析下百度蜘蛛對於其他頁面的抓取。
2、查看百度蜘蛛對於網站目錄抓取的情況，從下面的抓取圖中可以很清楚的看出百度蜘蛛對於home，product目錄的抓取還是比較多的，對於網站內部另外一個重要的目錄news抓取卻不多，而這個目錄就是網站每日更新做的比較多的工作目錄。蜘蛛還抓取了一些後台文件目錄如 upload，files，img等。
網站目錄抓取情況
從上面的分析可以看出百度蜘蛛對於網頁內部的抓取是不合理的，問題主要是：1、網站內部結構對於news欄目抓取力度不足;2、home目錄作為社區，product目錄作為產品中心，分散了網站蜘蛛抓取的資源;3、網站對於一些不必要抓取的目錄沒有很好地限制。解決問題就需要從這三個方面入手。
1、引導蜘蛛更多的抓取news目錄下面的網頁，如針對更新的頁面創造更多的鏈接入口，其中包括站內的互相鏈接導入，站外的外鏈發布等。
2、查看網站的社區基本上已經沒有更新，可以考慮先將home目錄屏蔽掉，讓權重和蜘蛛更多的導入進news欄目。product目錄是一個比較重要的目錄，但是更多的應該引導其抓取沒有收錄的或者新的產品。查看網站產品頁面，發現對於相關產品推薦力度不夠，可以在這一塊進行改進。
3、運用robots文件或者nofollow標簽，對於網站不重要的目錄或者頁面，以及後台的一些文件進行限制。
另外，還有一點思考，百度蜘蛛停留時間比較多，但是抓取量不算特別多，還需要查看百度蜘蛛抓取頁面返回的狀態碼200，304和404所占比例。如果304比較多，那麼是否考慮將這些蜘蛛資源進行合理的分配到未抓取的頁面。如果404頁面比較多，那就要考慮蜘蛛是不是被帶進一些陷阱裡面，檢查網站內部造成404狀態碼的頁面，並加以改正。
前面談到的多是站內的蜘蛛抓取分配，但是如果站外的蜘蛛引導不夠給力，那麼依然不能夠做好網站的收錄和權重提升(PS：網站快照是網站權重的一個體現)。可以操作的方法如下：
1、重新建立網站地圖，其中包括html和xml兩種格式地圖，在robots文件中書寫抓取規則，引導蜘蛛抓取網站sitemap地圖。寫法如下：
Sitemap:http://www.xxx.com/sitemap.html
2、多建立內鏈外鏈，給網站的每個網頁盡可能多的蜘蛛抓取入口，讓網頁抓取量盡可能的提高。特別是對於外鏈建設這一塊，可以考慮網站更新之後，立即去一些高權重的平台，如論壇，博客等，發布文章或者目錄的鏈接，吸引蜘蛛抓取。
簡單，粗淺的從自己的角度談了下LOG日志分析的一點小思路，希望對大家有一定的幫助。
本文由QQ個性簽名網(http://www.yy521.com/qq/)發表，歡迎大家轉載，轉載時請保留此鏈接，謝謝合作!