同志們好，我又來了，接著昨天的文章寫（學習SEO留下的筆記之站內優化結構篇（一））今天下午特別困，天天對著電腦輻射很厲害啊，朋友們注意身體哦！
6.robots文件：我想大家對這個文件應該不陌生，我也就提一下，網上有很多對這個文件的詳細講解^_^，搜索引擎每次來我們網站都會先浏覽robots.txt文件，如果你沒有這個文件，那麼搜索引擎就會抓取你所有網站的接，不過我個人意見，不管你不會還是不懂都盡可能的在網站根目錄下建立robots.txt空文件，原因：因為有些服務器會出現，搜索引擎浏覽robots.txt文件的時候不存在顯示200代碼，而不顯示400錯誤，這樣可能對搜索引擎產生一種誤解。（你希望別人對你產生誤解嗎？）
格式：<域>：<可選空格><域值><可選空格>
User-agent:*
Disallow:/
禁止所有搜索引擎收錄。
User-agent:*
Disallow:/ab/
Allow:/ab/cd/
不讓蜘蛛抓取AB目錄，但允許抓取AB目錄下的CD目錄下的內容。
還有記得切忌，robots.txt要小寫。
7.nofollow標簽：寫法：<a href="http://www.***.com/" rel="nofollow">錨文本</a>簡單解釋一下，這個標簽就是告訴搜索引擎不被抓取，也不會跟蹤超鏈接，更不傳遞權重。這個標簽主要用在博客評論，留言板等地方。也有很多朋友用在網站的廣告位地方，網絡廣告目的是為了提高曝光率和點擊量，我們網站沒必要給他廣告做特殊待遇吧。
8.meta robots標簽：這個標簽主要就是告訴搜索引擎禁止索引本頁面內容，但是可以跟蹤頁面上的鏈接，當然也可以傳遞權重。和上面的nofollow有點相似。
寫法如下：<meta name="robots" content="noindex">
noindex：告訴蜘蛛不要索引本頁面。
nofollow：告訴蜘蛛不要跟蹤本頁面上的鏈接。
nosnippet：告訴搜索引擎不要在搜索結果中顯示說明文字。
noarchive：告訴搜索引擎不要顯示快照。
noodp：告訴搜索引擎不要使用開放目錄中的標題和說明。
9.canonical標簽：
這個標簽類似於301內頁轉向，用戶並感覺不到轉向，而還是停留在原網址上，只是搜索引擎把他當做了301轉向處理了，把頁面權重集中於標簽上的網頁。通常情況下我們把canonical屬性用在這種網頁中，例如：某產品既屬於分類A又屬於分類B，那麼2個不同網址在內容上僅僅是微差，我們實際上可以用 link的 canonical 屬性把搜索引擎對這個文章的所有判斷歸結到一個網址上。這個標簽有人說百度不支持，也有說支持的，這個大家討論一下。更具體詳細的解釋：http://www.google.com/support/webmasters/bin/answer.py?answer=139394
今天介紹了一下標簽，寫的內容不是很充實，讓大家了解一下，有個面熟，以後可能你會用到！