搜索引擎做為網站流量的重要來源,網站的收錄量自然是大部分網站運營人員關心的問題。
先明確一些基本點,一個網頁被收錄與否,有兩個因素:
是否被爬蟲爬過
頁面質量是否過關
上一篇文章已經提過了收錄率這麼一個指標,很多網站都懶得去做這個指標,“我看看site的數據不就行了!”,事實上沒有這個指標,很多工作就無從下手。從數據中找出問題,利用數據指導解決方案,分析數據驗證工作成果。 最近看了《深入淺出數據分析》這個本,覺得不錯,把數據分析的方法講得很生動,建議有興趣的從事數據分析的同學可以買本看看。 任何數據分析由,目標->分析->評估->決策,四個環節組成。
目標:我們想看一下網站的收錄情況如何,在SEO方面是否還有提高的機會。
分析:收錄情況什麼算好什麼算壞,是不是用一些指標來衡量?網站的收錄情況是不是過於籠統,是不是應該細分下各個頁面的收錄情況?
評估:於是我們需要下面一些數據
> 網站的頁面層級關系
> 各個層級頁面帶來的SEO流量
> 各個層級頁面的收錄情況如何
SEO流量的占比可以從Google Analytics中過濾出來。
頁面數量可以從數據庫獲得,或者通過火車頭or自制小腳本抓取統計。
收錄率可以將獲取的頁面通過工具進行搜索,火車頭也可以。
問題立馬凸顯!
1+2級目錄頁帶來了大量的流量,收錄率不是很好,優化收錄的流量提升突破口在此!
產品頁面數量很多,收錄也不是很理想,但是帶來的流量有限,除了收錄問題,還有頁面內容的問題,本文中先不管它了。
決策:我們的結論是立刻展開行動對目錄頁面進行收錄的優化。
看到這邊,似乎剛開始的目標:“通過優化收錄提升流量”
演變成了新的目標:“如何提高目錄頁面的收錄量”
這邊能不能再次通過數據分析的方法進行SEO呢?
答案是肯定的!
我們再來重新走一遍 目標->分析->評估->決策 的過程
目標:提高目錄頁面的收錄量
分析:通過本文開始的有關收錄的兩個因素,我們需要檢查一下,網頁是否被爬蟲爬行過,網頁的質量是不是過關。
1. 關於爬蟲的情況,我們需要分析日志,才能確定。於是我們從日志中拆分一系列數據看看頁面是否真的被爬行過。
2. 由於頁面質量似乎是一個很難衡量的值,於是我們可以用相同模板下的:
已被爬行的頁面數量/已被爬行並且被收錄頁面數量
來評估該模板頁面質量對收錄的影響大小。如果被爬的頁面都被收錄了,那至少說明這套頁面的內容搜索引擎還算認可。(實際情況遠比這個復雜,而且收錄後也有可能因為質量問題被刪除,但總比什麼參照都沒有要好,對吧!)
評估:(敏感信息用編號代替,均為真實數據)
先看一下爬蟲日志的情況,通過Shell腳本,我們可以分析出。
目錄總計被爬行的次數為13000次左右
不重復的目錄爬行次數為5500次左右
頻道A下的目錄幾乎被100%抓取過至少1次,頻道B的目錄抓取也不錯,有70%被至少抓過一次。
其余頻道下的目錄被抓取的覆蓋率不到30%
不要覺得這個結果很神奇,其實很多網站都會面對這樣的糟糕問題,只要你把數據不斷的細分,細分,再細分,總會觀察出一些端倪的。
關於日志分析,不要迷信任何的日志分析軟件,那都是給懶人用的,自制腳本+Excel才是王道,可以拆分顯示出任何你想要的數據,當然,甚至可以連Excel都不要。
然後,我們統計了一下被抓得最頻繁的頻道A和頻道B,目錄頁的收錄率
頻道A和B是很讓人放心的,說明頁面質量沒問題,但是余下的收錄情況就讓人比較擔心了。
決策:通過上面的數據評估,我們已經得到了如下結論。
頁面質量並不是影響收錄的原因。
頻道A,B的抓取量異常的高,通過調查了解,原來是首頁上的目錄頁,顯示的全是頻道A下的目錄頁,首頁又擁有全站最高的權重。頻道B擁有比其他頻道強大的外鏈資源,權重也非常高。
除了A, B頻道,其他頻道的抓取情況不容樂觀,抓取入口太少,太深,進而影響了收錄情況。
很明顯,現在頻道A從站內的角度