什麼是蜘蛛友好度?
蜘蛛友好度我們通常指的是搜索引擎的蜘蛛(Spider)爬行和抓取網站的時候,網站返回的信息是否能符合搜索引擎蜘蛛爬行和抓取的要求。
如何提升網站蜘蛛友好度?
一:服務器連通率
蜘蛛爬行網站,服務器的性能非常的重要。包括服務器的訪問速度、服務器連通率。理論上來說,服務器的訪問速度越快,蜘蛛爬行下載頁面所需要的時間就越短,對蜘蛛的友好度就越高。相反,如果服務器性能很低,訪問速度很慢,對於蜘蛛來說需要消耗大量時間去下載頁面,友好度就會降低。另外服務器的連通率也是一個重要的指標,服務器不穩定,不僅會嚴重損害用戶的友好度,同時也會大大降低網站對蜘蛛的友好度。
建議正確做法:購買服務器要選擇大品牌,而且口碑較好的IDC提供商,國內有阿裡雲、西部數碼、百度雲、騰訊雲等服務器穩定性和產品性能都是非常不錯的。
二:正確設置robots.txt
Robots協議,是針對於搜索引擎蜘蛛爬行的協議,蜘蛛在爬行網站的時候首先會到網站根目錄讀取robots.txt的規則。robots.txt設置不當,比如出現
User-agent: * Disallow: /
這樣的代碼會導致蜘蛛無法爬行和抓取。網站不設置robots.txt搜索引擎蜘蛛默認的是允許所有。
建議正確做法:seo新手或者對robots.txt協議不熟悉可以考慮不設置。如果設置了Robots.txt協議。建議到百度站長工具(Robots)檢測下。
三:網站結構
百度蜘蛛無法抓取JS、flash、圖片、框架(iframe)裡的內容。所以網站建設中,盡量要避免重要的內容使用這些技術來實現。很多網站為了追求美感大量使用圖片或者flash,會導致蜘蛛無法識別網站內容,降低了網站對蜘蛛的友好度。
建議正確做法:網站盡量使用文字,避免大面積使用圖片或者flash等
四:404死鏈接
404死鏈接指的是存在但是無法訪問的網址。網站中出現404不僅對用戶體驗有很大的影響,同時對蜘蛛的友好度也會降低。網站中出現大量404會導致關鍵詞排名不穩定。
建議正確做法:網站定期要檢查下有沒有死鏈接。如果有要及時處理。推薦死鏈查詢工具(Xenu)!
五:URL的優化
如果網站URL過長,會嚴重影響蜘蛛爬行網站的友好度.
建議正確做法:網站的URL盡量簡短,層次分明。