我們知道，搜索引擎都有自己的“搜索機器人”（ROBOTS），並通過這些ROBOTS在網絡上沿著網頁上的鏈接（一般是http和src鏈接）不斷抓取資料建立自己的數據庫。作為站長為了避免部分網頁被索引導致的權重流失，我們提供了robots來很好的解決這個困擾，做到了“舊瓶裝新酒”，讓你的站在搜索引擎中有良好的表現。
我們來看宜昌SEO的robots.txt ：www.seo86.net/robots.txt，這樣做的目的是讓搜索引擎覺得我們的網站更規范權威。接下來我們說一下robots權重方面的“舊瓶裝新酒”
舊瓶裝新酒一：用robots屏蔽內容相似或沒有內容的頁面
我們知道搜索搜索引擎收錄後有一個判斷審核的過程，當出現相似度高的頁面會刪除其中的一個，那麼robots會幫到這個忙。比如我http://www.***.net/wangluo/?p=321和http://www.***.net/123內容差不多，那麼我們可以把第一個屏蔽掉。屏蔽代碼：Disallow:/wangluo/?p=
這樣子就可以很好的減少重復頁面，對搜索引擎留下良好的影響。
舊瓶裝新酒二：用robots.txt屏蔽掉多余的鏈接，當我們出現動態、靜態同是都可以訪問的情況，我們可以去掉動態的。
我們，發現很多網站會有多個鏈接指向同一個頁面，這中現象的普片存在，會讓搜索引擎對網站的權威性產生疑問，可以通過robots把不重要的鏈接去掉
比如：www.***.net/?P=123和www.***.net/123，那麼我們可以用Disallow:/?p=屏蔽掉
舊瓶裝新酒三：鏟除死鏈接
死鏈接就是原來存在，後來因為改版或者更新的原因刪除了鏈接和網頁
比如原來某個目錄（假設是/tempweb/）下面的所有鏈接，因為改版的原因這個目錄下面的變成了死鏈接，那麼可以這樣子來屏蔽他。代碼為：Disallow:/tempweb/
舊瓶裝新酒四：被k的鏈接處理
我們做網站優化的知道，很多關鍵字排名下降的問題，很可能是被k的外部鏈接導致的，所以我們可以把所有的外部鏈接統一放在一個鏈接目錄下面，然後用robots統一屏蔽，比如http://www.***.net/sns/web-link這個上面的所有鏈接都http://www.***.net/sns/link.php?下面我們采取的屏蔽代碼Disallow:/link.php?
如果您對robots的具體操作不是很清楚，可以在百度官方提供的robots.txt指南學習http://www.baidu.com/search/robots.html同時希望大家靈活運用，將robots的功能發揮到極致，相信你的排名也會穩如泰山。若您在robots方面還有其他的疑問可以加QQ1256271624大家一起探討。
文章
本文地址：http://www.seo86.net/258/
版權所有 © 轉載時必須以鏈接形式注明作者和原始出處！
感謝 恆溫恆濕機 的投稿