DIV CSS 佈局教程網

1.什麼是Robots？

robots文件的使用相信很多站長都會比較熟悉，但是在細節上會有所疏忽，不是特別的精通。因為robots優化的相關信息搜索引擎並沒有給出比較詳盡的聲明及運用方法，以及每個站長對於robots的需求不同等特點，導致robot的優化方式更加靈活善變，那麼robots到底是什麼呢？我們可以簡單的理解為通過這個robots位於網站根目錄的文件協議來告訴蜘蛛哪些是可以訪問收錄哪些是不可以訪問收錄的！當蜘蛛訪問您的網站的時候他首先會先檢測您的網站是否設置的有robots文件協議，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在，那麼搜索機器人就會沿著鏈接抓取。

2.Robots優化寫作方法：

首先，我們來看一個robots.txt范例:

# robots .txt file from http://www.seozf.com

#All robots will spider the domain

User-agent:.

Disallow:

以上文本表達的意思是允許所有的搜索機器人訪問www.seozf.com站點

下的所有文件。具體語法分析如下。

    #後而文字為說明信息;

    User-agent後面為搜索機器人的名稱，如果是“。”，則泛指所有的搜索機器人;

    Disallow後面是不允許訪問的文件目錄，如目錄為空則不起任何禁止作用。

    下而，列舉一些robots.txt的具體用法。

    允許所有的robot訪問，格式如下:

User-agent:.

Disallow:

    或者也可以建一個空robots.txt文件。

    禁止所有搜索引擎訪問網站的任何部分，格式如下:

User-agent:.

Disallow:/

    禁止所有搜索引擎訪問網站的某幾個部分，比如下例中禁止訪問01, 02, 03

目錄:

User-agent

Disallow:/aa/

Disallow:/bb/

Disallow:/cc/

禁止某個搜索引擎的訪問，比如下例中的BadBot:

User-agent:BadBot

Disallow:/

只允許某個搜索引擎的訪問，比如下例中的Crawler:

User-agent:Crawler