1、Robots.txt文件是什麼：首先SEO博客要和大家弄清楚robots.txt的概念問題，帶有txt後綴的文件是純文本文檔，robots是機器人的意思，也就是說，robots.txt文件是給搜索引擎蜘蛛看的純文本文件。它告訴搜索引擎哪些網頁允許抓取、索引並在搜索結果中顯示，哪些網頁是被禁止抓取的。搜索引擎蜘蛛來訪問你的網站頁面的，首先會查看網站根目錄下是否有robots.txt文件，robots.txt文件就是起到這個作用的。我們都知道淘寶網是屏蔽百度的，靠的就是robots.txt文件。文件是這樣書寫的：User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
2. robots.txt的作用：通過設置屏蔽搜索引擎，使之不必要頁面被收錄，可以大大降低抓取頁面所占用的網站帶寬，大型網站尤為明顯了。設置robots.txt文件可以指定某個搜索引擎不去索引不想被收錄的URL，比如我們通過url重寫將動態URL靜態化為永久固定鏈接，就可以通過robots.txt設置權限，阻止某些搜索引擎索引那些動態網址，網站重復頁面將減少，有利於SEO優化。
3. robots.txt 怎麼寫：下面以WordPress博客來作舉例。如robots.txt文件裡寫入以下代碼：User-agent: * Disallow: Allow: / robots.txt寫法中應該注意的幾點。1、robots.txt必須上傳到網站根名錄下，不能放在子目錄下;2、robots.txt，Disallow等必須注意大小寫，不能變化;3、User-agent，Disallow等後面的冒號必須是英文狀態下的。4、User-agent是表示搜索引擎(spider)的：星號“*”代表所有spider