一、robots簡介：
robots.txt一般指robots協議，Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標准”（Robots Exclusion Protocol），網站通Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
二、robots使用規則
Robots協議是國際互聯網界通行的道德規范，基於以下原則建立：
1、搜索技術應服務於人類，同時尊重信息提供者的意願，並維護其隱私權；
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
三、robots功能用途
Robots協議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛爬取頁面。
四、什麼是robots.txt文件?
搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用於指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt，在文件中聲明：該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
請注意，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。
內容來源自：http://baidu.com/search/robots.html 具體詳情請參考百度禁止搜索引擎收錄的方法
五、關於robots文件
1、搜索引擎蜘蛛訪問網站時,會先查看網站根目錄下有沒有robots.txt文件,該文件用於指令搜索引擎禁止抓取網站某些內容或允許抓取某些內容。注意:就算允許抓取所有內容,也要建一個空的robots.txt文件放在根目錄下。
2、只有在需要禁止抓取某些內容時,robots.txt才有意義,如果該文件為空,就意味著允許搜索引擎抓取所有內容。
3、語法解釋:
最簡單的robots文件:禁止搜所有搜索引擎抓取任何內容,寫法為
User-agent:*
Disallow:/
其中,User-agent用於指定規則適用於哪個蜘蛛。通配符*代表所有搜索引擎。如只適用於百度蜘蛛,則寫為:User-agent:Baiduspider、谷歌蜘蛛:Googlebot。
Disallow告訴蜘蛛不要抓取某些文件。如 Disallow:/post/index.html,告訴蜘蛛禁止抓取Post文件夾下index.html文件。Disallow後什麼都不寫,代表允許抓取一切頁面。
六、關於meta robots標簽
1、用於指令搜索引擎禁止索引本頁內容。
2、語法解釋:<meta name=”robots” content=”noindex,nofollow”> 意思是 禁止所有搜索引擎索引本頁面,禁止跟蹤本頁面上的鏈接。
noindex:告訴蜘蛛不要索引本頁面。
nofollow:告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet:告訴蜘蛛不要在搜索結果中顯示說明文字。
noarchive:告訴搜索引擎不要顯示快照。
noodp:告訴搜索引擎不要使用開放目錄中的標題和說明。
SEO學堂認為，robots.txt以及robots相關標簽的應用，綜合來說有以下幾個方面的用處：1、告訴搜索引擎哪些可以抓取，那些不允許抓取；2、過濾部分不抓取頁面，既可以防范權重流失，又可以節省網站帶寬流量；綜合來說，只有真正的了解robots的具體用途和相關規則，才可以利用robots來巧妙引導蜘蛛爬行，這樣不僅便於搜索引擎的搜索，而且對網站的優化也起到了很大的作用。