前一段在SEO總結:robots細節優化都包括哪些地方(一)和大家談了robots細節優化的幾個方面,不僅僅讓更多站長注意到了以前從來注意過的問題,也讓我自己的SEO水平得到了進一步的提高,畢竟SEO水平都是靠一點一滴累積而來。上篇文章分別與大家介紹了六個方面,分別是user-agent的數量問題、spider蜘蛛大小寫問題、allow與disallow順序、反斜槓、#表示注釋、不要出現空格等,今天接著上篇文章把剩下的幾點分享完。
文件目錄大小寫問題
robots文件名到底對大小寫是否區分,相信很多站長也沒有一個標准的答案。雖然res標准忽略大小寫,但對於目錄與文件名而言,卻是大小寫敏感的。“user-agent”和“Disallow”指令本身用大小寫都可以,但對於其聲明的目錄或文件名卻一定要注意大小寫的問題。因為如果屏蔽了大寫,蜘蛛有可能會抓小寫,對網站的收錄造成影響,例如:
Disallow: /abc.htm
會攔截http://www.abc.com/abc.htm
卻允許http://www.abc.com/Abc.htm
所以在一些IIS服務器可能出現大小寫目錄的問題時,可以通過此方法得到圓滿解決。
包含同類meta問題
一個正常的頁面如果包含了多個同類型meta標簽,搜索引擎蜘蛛會累加meta的內容進行取值。舉個簡單的例子,對下面兩條語句來說:
搜索引擎將會把兩者合並,最終理解成:
取最強參數的問題
有時候meta標簽裡邊的值出現沖突,那麼對於搜索引擎來說就會采納限制性較強的參數為最終值,很多時候這個問題可以避免,但是有時候不小心寫多了meta標簽,特別對於一些大網站,更要注意。舉個例子,例如下邊的兩個標簽:
那麼搜索引擎最終會會選擇noindex的取值,因為它的限制性要比第二個高,這個類似優先級問題。
即有robots又有meta問題
如果一個網站裡邊既存在robots.txt文件,同時頁面頭部又寫了meta標簽,而當二者存在沖突,那麼對於Googel來說會服從限制較嚴的規則,即在robots.txt中阻止了對一個頁面的檢索,那麼Google就不會爬到這個頁面,所以也就不會讀到這個頁面上的meta標簽。而如果robots.txt裡允許檢索,meta中禁止,那麼Goolge會到達這個頁面,並在讀到meta後停止爬行。
好了,本文就到這裡吧,有一些是自己實實在在碰到的問題,而另外一些則是查閱網上的資料進行的總結,總之,能把robots裡邊的小細節和大家總結並分享完,感覺很有意義。SEO雖然是個漫長的過程,但是認真去體會裡邊涉及到的東西,同樣也是一種很高的收獲。
本文來自深圳網站建設,網址:http://www.zijiren.net,轉載請保留鏈接, 謝謝!