網站的優化是一個系統工程，有很多東西都必須實驗研究和總結。對於一些稍大規模的網站，一些簡單的SEO細節就能對整體產生影響，有時也會直接影響網站的收錄、轉化甚至盈利。所以對於上規模的網站而言，一些SEO細節是不得不提，不得不重視的。今天和大家總結關於robots的幾點知識，希望能讓大家受益。
robots文件的使用很多站長都熟悉，但在細節上未必在意，也未必精通。它包含的許多知識點搜索引擎並沒有給出詳盡的說明或者使用方法。在經過大量總結和參看資料的基礎上，本文和大家總結操作robots文件時應該注意的細節。
第一、user-agent的數量
一般網站的robots.txt文件中不要出現多個user-agent記錄，一般都是一個為宜，但是如果一個都不出現，也是被允許的。
第二、spider蜘蛛大小寫
搜索引擎蜘蛛在查看robots的時候會忽略大小寫，但是為了保險，也有網站分別寫了兩個不同的百度蜘蛛，比如淘寶。
第三、allow與disallow順序
順序的問題會導致抓取的錯誤，如果把allow放置後邊，有時候就會出現想要收錄的內容不被收錄，舉例說明：
想要搜索引擎唯一收錄a文件夾下的b.html，那麼則要這麼寫：
Allow:/a/b.html
Disallow:/a/
如果順序寫反，第一個匹配成功之後，b.html就不會被收錄。
第四、記得反斜槓
反斜槓代表的意思是根目錄，所以Disallow:/代筆的意思就是禁止收錄一切頁面和文件夾的內容。這個反斜槓很重要，少了反斜槓就代表允許搜索引擎收錄全部頁面。
第五、#表示注釋
在robots.txt中，#開頭均被視為注釋，這和unix中的慣例是一樣的。不要一不小心把通配符寫錯了。
第六、不要出現空格
有些robots文件中前邊會不注意加一個空格，這樣的問題應該盡量避免，否則一些機器人就不理解意思。
好了，篇幅有限，本文就先寫這六個方面吧，下文還有目錄大小寫、meta累加取值、采納限制性最強的參數等方面的介紹，都是十分有用處的細節，robots.txt雖然優化的主要方向，但是它確實必需重視的一個方向，如果寫的有問題，對整個網站的收錄都會造成影響。我們不應該隨波逐流，別人怎麼寫我們就怎麼寫。而是理解其中的含義，寫出符合自己網站的robots文件。
本文來自左旋360減肥咖啡（http://www.kfzxrj.com），轉載請保留鏈接，謝謝！