一、首先我們要知道什麼是死鏈?
概述
死鏈就是服務器的地址已經改變了.無法找到當前地址位置。
兩種形式
死鏈包括協議死鏈和內容死鏈兩種形式。
協議死鏈:頁面的TCP協議狀態/HTTP協議狀態明確表示的死鏈,常見的如404、403、503狀態等。
內容死鏈:服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
簡單地講,死鏈接指原來正常,後來失效的鏈接。死鏈接發送請求時,服務器返回404錯誤頁面。
出現原因
1、 動態鏈接在數據庫不再支持的條件下,變成死鏈接。
2、某個文件或網頁移動了位置,導致指向它的鏈接變成死鏈接。
3、網頁內容更新並換成其他的鏈接,原來的鏈接變成死鏈接。
4、網站服務器設置錯誤
5、網站還沒有完全做好,就上傳到服務器上去了,這樣也很多死鏈的。
6、某文件夾名稱修改,路徑錯誤鏈接變成死鏈。
影響
1、有可能會讓搜索引擎降權
2、用戶體驗較差
死鏈接其實就是不能打開的url,很可能會讓浏覽你的站點人對你的網站產生反感,而搜索引擎的蜘蛛程序爬到這裡的時候,發現前方的路不通,它有可能就會丟棄,不再向前爬,這樣給它的影響就不好。
搜索引擎是不太喜歡把一個帶有死鏈的站點排在最前面的,當然這不是絕對的情況,是屬於大部分的。
遇到網站出現死鏈接,解決的辦法就是刪除死鏈接或者修復死鏈接,讓網站結構更加順暢。
處理方法
檢查死鏈的方法和工具很多,有能力的還可以自己開發,站長常用的處理網站死鏈接的方法主要有:
1、Google網站管理員工具,可以找出Google收錄的網頁上的死鏈接總個數以及鏈接形式,但只能是對經過驗證的網站進行檢查;
2、Xenu-死鏈接檢測工具,一個需要安裝的客戶端軟件,可以對所有網站進行馬上檢查。檢查結果數據報告非常詳細;
3、站長工具死鏈接檢測,一個網頁在線死鏈檢測工具。
4、百度站長工具提交死鏈:登錄百度站長工具,數據提交,死鏈提交,添加新數據,具體操作平台有詳細介紹。
二、抓取異常
1、什麼是抓取異常?
對於互聯網中普通用戶可正常訪問的內容,Baiduspider無法正常訪問並抓取的情況,就是抓取異常。
2、抓取異常對網站的影響有哪些?
對於大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,並降低對網站的評價,在抓取、索引、權重上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。
3、抓取異常查詢工具功能介紹:
1.工具可展現站點中已發現的抓取異常頁面(抽樣統計),並顯示對應的異常類型。每種異常類型最多可展現10條鏈接,多於10條的不會在界面中體現。
2.所有抓取異常的鏈接列表可以通過下載的方式獲取,支持按照異常類型下載指定的異常鏈接。
3.目前支持識別的抓取異常種類有
五種:404頁面、IP封禁、UA封禁、異常重定向以及其他異常,具體如下:
3.1 404頁面:
代表協議死鏈,用戶已無法訪問該頁面內容,建議通過百度站長平台--死鏈工具提交死鏈的方式進行處理,以便搜索引擎更快地發現死鏈,減少死鏈對用戶以及搜索引擎造成的負面影響。
3.2 IP禁封:
限制網絡的出口IP地址,禁止該IP段的使用者進行內容訪問,即為IP禁封。請檢查系統服務器是否設置了針對百度spider的IP禁封規則。
3.3 UA禁封:
UA即為用戶代理(User-Agent),服務器通過UA識別訪問者的身份,當網站針對指定UA的訪問返回異常頁面(如403,500)或跳轉到其他頁面的情況,即為UA禁封。請檢查系統服務器是否設置了針對百度spider的UA禁封規則。
3.4 異常重定向:
將網絡請求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況
1)當前該頁面為無效頁面(內容已刪除、死鏈等),直接跳轉到前一目錄或者首頁,百度建議站長將該無效頁面的入口超鏈接刪除掉
2)重定向到出錯或者無效頁面
3)重定向的跳轉超過3次,也為異常
注意:對於長時間跳轉到其他域名的情況,如網站更換域名,百度建議使用301跳轉協議進行設置。