作為一名專業的SEOER，一般每周都會查看網站的日志數據，通過網站後台的日志，我們可以及時的看到當天，或者這一周網站的搜索引擎蜘蛛造訪情況：都有哪些蜘蛛訪問過我們的網站？哪些蜘蛛在我們更新文章後，及時抓取了網站的內容，哪些內容蜘蛛提升內容重復，沒有再次抓取？等等，這些看似無用的日志數據，經過我們認真分析之後，都知道我們開展網站內容更新，以及查看網站內容為啥不收錄，收錄的不及時，以及有些內容為啥不收錄都有一定的指導價值。一般情況下SEO在做好網站的SEO優化工作之後，就會進行網站日志數據分析。下面由SEO為大家詳細介紹一下如何具體開展網站後台日志數據分析：
1、網站剛上線，看搜索引擎蜘蛛的抓取情況;
2、網站收錄異常，對比日志中蜘蛛的行為情況;
3、解決網站被封問題時，觀察日志情況；
網站日志是網站管理員和搜索引擎對話溝通的途徑。通過日志，了解搜索引擎蜘蛛的訪問情況。
下載日志：
通過 FTP訪問網站的根目錄。可以看到一個包含 log的文件夾，這是存放日志的地方。
下載、解壓、打開日志文件。
日志文件內容如：
61.135.168.22 – - [11/Jan/2009:04:02:45 +0800] “GET /bbs/thread-7303-1-1.html HTTP/1.1″ 200
8450 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
(注：百度蜘蛛，這部分為本文添加)
203.208.60.43 – - [11/Jan/2009:04:02:43 +0800] “GET /sns/space-13563-do-friend-view-me.html
HTTP/1.1″
200
5162
“-”
“Mozilla/5.0
(compatible;
Googlebot/2.1;
+http://www.google.com/bot.html)”
(注：Google蜘蛛)
202.160.178.21 – - [11/Jan/2009:04:02:44 +0800] “GET /sns/space.php?uid=323 HTTP/1.0″ 200
7535 “-” “Mozilla/5.0 (compatible; Yahoo! Slurp China;
(注：雅虎蜘蛛)
65.55.220.217
-
-
[11/Jan/2009:04:02:57
+0800]
“GET
/ucenter/avatar.php?uid=12373size=small&type=virtual HTTP/1.1″ 301 – “-” “msnbot-media/1.1
(+http://search.msn.com/msnbot.htm)”
(注：MSN蜘蛛)
分析日志：
蜘蛛名稱：百度 ->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao
->YoudaoBot、sogou ->Sogou+get+spider
在日志文件裡，搜索以上蜘蛛名稱。就可以看到蜘蛛抓取的痕跡。
我們分析的主要點是，HTTP狀態碼，如以上的 200和 301。
” 200 5162 “代表正常抓取，這次抓取了 5162個字節。
不同的服務器或虛擬主機設置的日志記錄內容不同。
有的如：200 0 33834 237 953我們通過多看幾條記錄，觀察規律，可以判斷第三個數字代表字節數。
有的如：200 0 0或 200 0 64這是沒有記錄抓取字節數。注意：200 0 0和 200 0 64沒代表什
麼問題。所謂 200 0 64代表要被 K的言論沒有根據，一般的網站都有 64代碼。
在日志裡，發現比較多的 HTTP狀態碼是，200(正常)、304(沒變化)、404(錯誤鏈接)。
304代表，自從上次抓取後，該內容沒有更新。一般情況下，網站的圖片經常會返回該值。
404代表，訪問的這個鏈接是錯誤鏈接。這個錯誤鏈接，一方面來自原本存在後來刪除了網
頁，另一方面可能來自本來就不存在，但其他人外鏈了這麼個死鏈接。
返回開篇常見問題解答：
1、網站剛上線，看搜索引擎蜘蛛的抓取情況;
如果網站提交給搜索引擎2天後，發現日志裡蜘蛛不少，並都返回 200，則說明已經可以正常收錄。
只是 Google展示的時間比較快，而百度則需要 20天左右(經驗平均值)展示出來。
2、網站收錄異常，對比日志中蜘蛛的行為情況;
收錄正常增加時和現在異常時的日志，進行對比分析。如果沒有異常，則應該是搜索引擎展示數據庫出問題所致。
如果蜘蛛爬取量明顯減少，觀察是否外鏈突然減少很多。
如果日志依然，則認為是搜索引擎的展示問題。
解決網站被封問題時，觀察日志情況。
網站被封時，往往日志裡有百度蜘蛛，但很少，而且往往只訪問 robots.txt文件和首頁經過這裡的建議修改後，再提交給百度，之後的2天觀察日志情況。
如果一直這樣的情況維持 1個月，可以考慮放棄該域名。
如果蜘蛛明顯增加，而且返回 200居多，則收錄的希望很大，時間問題。
FTP的工具下載和使用指南：
日志文件有時非常大，用記事本打不開，可以使用這個工具：
HTTP狀態碼更多知識：
幾大搜索引擎登陸入口：
相關疑問：
1、提供的樣板日志文件裡的 http://bsalsa.com/是什麼?
這是一個浏覽器插件開發商，日志裡有這個代表，采用該插件的用戶訪問過你的網站。這個不用理會。
2、我的網站怎麼沒有日志文件?
這個需要主機服務商開通。
我的日志裡怎麼都沒有蜘蛛?
很大的可能是，主機沒有記錄蜘蛛的功能。請看下同主機下其他站點的收錄情況是否正常。
4、好像日志裡收錄了，但不一定展示出來?
是的。我們可以看到百度蜘蛛和 google機器人訪問很頻繁，但不一定他們都展示出來。
這個目前沒有解決辦法。但只要它們頻繁訪問和正常抓取，一切就會很正常。
5、是否有專門分析蜘蛛爬取的工具?
暫時還沒有發現，如果你發現了，請告知。
6、發現日志裡蜘蛛情況和之前都一樣，但最近收錄或排名發生變化，是怎麼回事?
這應該屬於搜索引擎數據庫變更，可以說沒有具體對網站進行如何改進來挽救的明顯有效措施。
SEO在網站數據分析中，經常會利用網站日志數據分析工具，來分析網站內容的收錄、各大搜索引擎蜘蛛的來訪記錄、查看了哪些頁面，收錄了哪些內容，以及蜘蛛的愛好與特點，這些數據單純了分析一天沒有多少效果，但是這樣一周、一個月、一年這樣的分析下去，您就會發現很多蜘蛛的特點與喜好，甚至一些特殊的規律，發現了這些對於以後做好網站內容收錄，以及SEO關鍵詞排名都有很大的指導意義。