幾天前我通過自己工作室才上線的網站教大家通過服務器日志察看中蜘蛛的訪問行為，相信這樣一來大家都能舉一反三的找出日志中不同搜索引擎蜘蛛的爬行路徑了吧。今天我們仍用自己的網站服務器日志，教大家清晰掌握服務器與蜘蛛是怎麼互動的，這些都是日志中不太明顯的信息，需要你細心的去觀察的。新站起用是用被使用過的老域名，反而沒有直接用沒有被使用過的新域名收錄來得快，最近上線的這個新站，因為域名選取的原因，必須使用被使用過的老域名，上線已經9天， 仍沒有快照與收錄，但我們是不是就應該要選擇放棄了呢？
好吧，我們仍拿出幾條蜘蛛爬行記錄來分析：
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
通過上一次的講解，我們知道IP為123.125.71.116的蜘蛛，在2012年9月10日凌晨05點41分23秒的時候，爬行了我們首頁信息，HTTP返回狀態值200，爬行字節數5858。
今天我們要重點講解的就是這個HTTP返回狀態值，什麼是返回狀態值？都有哪些返回狀態值？它們都分別代表什麼意思？
什麼是HTTP返回狀態值呢？當用戶或搜索引擎向網站服務器發出浏覽請求的時候，服務器返回的HTTP數據流中頭信息中的狀態碼，它是一種服務器與訪問者交互的語言。
都有哪些返回狀態值呢？返回狀態值有很多，根據其含義，以1開頭的返回值表示臨時響應並需要請求者繼續執行操作。以2開頭的返回值表示成功處理了請 求。以3開頭的返回值要求完成請求需要進一步操作，通常這些狀態碼用來重定向。以4開頭的返回值表示請求可能出錯，妨礙了服務器的處理。以5開頭的返回值 表示服務器在處理請求時發生內部錯誤，這些錯誤可能是服務器本身的錯誤，而不是請求出錯。
好吧，純粹的理論讓人看得是不是有點頭暈了，我們下面用實例來分析一下常見的返回狀態值都有哪些！
背景：我們分析的這個網站是老域名，之前被人用過，存在搜索引擎收錄數據，現在域名被我用來重新建站。
我們來幾條記錄來看一看：
123.125.71.98 - - [10/Sep/2012:01:02:33 +0800] "GET /news/disp.php？id=302 HTTP/1.1" 404 1107 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
這條記錄HTTP返回狀態值是404，原因是因為百度蜘蛛爬行了一條本網站根本不存在的路徑，HTTP返回404代表：服務器找不到請求的網頁。
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
這條記錄HTTP返回狀態值是200，原因是因為百度蜘蛛爬行了真實存在的網站首頁，HTTP返回200代表：服務器已經成功處理了請求。
220.181.51.113 - - [10/Sep/2012:08:44:22 +0800] "GET /product/disp.php？id=85 HTTP/1.1" 301 250 "-" "Mozilla/5.0 (compatible； Baiduspider/2.0； +http://www.baidu.com/search/spider.html)
這條記錄HTTP返回狀態值是301，原因是因為百度蜘蛛爬行了在網站中不存在的文件路徑，HTTP返回301代表：請求的網頁已永久移動到新位置。
HTTP返回狀態值還有很多，如果你遇到其它的可以隨時百度一下就能找到它代表的意思。本文的目的是希望通過我們網站的文章，幫助到其他和我們遇到同樣問題的人。目前本文新上線的網站大量存在HTTP返回狀態404，主要原因是老域名存在使用情況，百度收錄數據庫中存在大量原有收錄數據，現在百度蜘蛛仍按原收錄文章路徑進行爬行，導致HTTP返回狀態值出現404碼，根據筆者的經驗，此時新站處於百度審核期，只有通過百度一個月到三個月的 審核期，收錄數據才能得到釋放，此時的404應該越多越好，蜘蛛爬行不通，自然會將該條原收錄數據刪掉，只是這樣一來會延長新站的審核通過周期。
新站起用被使用過的老域名，就會遇到像我一樣的情況，但是怎麼觀察隱藏在日志的訪問秘密，是做為站長的你必須要學會的。只有這樣，才能讓你看到希望，只有這樣，才能讓你有堅持的動力，只有這樣，才能讓你不再疑惑！
好了，今天的分享到此結束，讓我們拭目以待新站的成功收錄吧！
原文出處：http://www.cdfei.com/experience/seo/seo-82.html
收藏本文