據筆者觀察，很多的個人站都對404頁面和ROBOT文件不是很重視，因為大部分個人站長都覺得這兩個是可有可無的，但是筆者覺得這兩個文件對優化也是有影響的，特別是404頁面，如果網站出現了無效鏈接，那麼可以通過404頁面留住用戶，使之返回網站繼續浏覽。而ROBOT文件則是讓蜘蛛更好的收錄網站的可收錄頁面，對於網站收錄量的高低有非常大的影響。好了，現在回歸正文，下面開始講解這兩個文件的設置。
404頁面的作用
大部分站長知道的404頁面可能是為了引導用戶在浏覽到某個無效頁面時，可以通過404頁面提供的鏈接返回到網站，而且大部分站長認為404頁面就這麼一個作用而已。其實不然，404頁面還有其他的作用。比如當用戶長時間浏覽網站時，會出現麻木性的點擊，當點擊到無效鏈接時就會產生退出的心理，而這時候如果網站沒有404頁面引導的話，那麼用戶自然就會關閉網站，很容易就造成用戶的流失了。但是通過設置比較新穎的404頁面可以讓用戶緩沖一下緊張的情緒，就像盧哥的404頁面設置一個FLASH小游戲一樣，當產生了無效鏈接時，用戶可以通過玩玩小游戲來緩沖一下情緒，這樣自然就會更容易的重新返回網站繼續浏覽了。
所以說，404頁面不但是為了屏蔽無效的鏈接，還可以利用404頁面緩沖用戶的浏覽麻木性，這對於激發用戶再次浏覽網站具有非常大的幫助，如果你不信，可以設置一個比較新穎的404頁面，觀察一下其跳出率和PV值吧。
404頁面的設置方法
對於上文說的404頁面的作用，那麼站長如何設置有效的404頁面呢？主要有幾個方法：
1、404界面風格要新穎。界面和風格都比較新穎的404頁面可以讓用戶浏覽到無效鏈接時，也不會對網站失去了興趣，而且可以使用戶不會為網站出現無效鏈接而對網站產生懷疑。就像站長之家的404頁面，就比較獨特了。
2、404頁面要有停頓時間。這點對用戶和搜索引摯都非常重要，不要把404頁面停留的時間設置過短，比如1－3秒之間的就對用戶和蜘蛛都不友好。最低保持在5秒以上。
3、404頁面不要直接返回首頁。如果404頁面直接跳轉到首頁的話，那麼就會讓蜘蛛爬行時，把它當成是一個獨立頁面收錄，這樣對後期的優化並不友好。
4、404頁面要給用戶選擇跳轉。其實這點是筆者最近才發現的，許多的404頁面只留下一個跳轉到首頁的鏈接，這樣使得用戶無法選擇自己要返回的頁面，自然對用戶體驗就不是那麼友好了，所以，在404頁面中，不但要有跳轉首頁的鏈接，還要設置返回其他頁面的鏈接，比如返回上一頁、返回之前的分類頁等，這些都會讓用戶感覺到網站的人性化。
5、404頁面需要屏蔽掉。在ROBOTS文件中，要把404頁面的地址屏蔽起來，這樣即使是出現以上的情況也不會讓搜索引摯爬行到，也不會出現無效鏈接也被收錄了。
ROBOTS文件的作用
百度百科中ROBOTS文件的解釋就是告訴蜘蛛程序在服務器上什麼文件是可以被查看的。就按筆者的理解，ROBOTS文件就是為了告訴蜘蛛哪些頁面可以抓取，哪些頁面不可以抓取。現在很多站長說自己明明設置了禁止抓取的頁面，但是搜索引摯也一樣收錄這些頁面，開始懷疑ROBOTS文件是不是沒作用了。其實不是，設置了還被抓取那說明你的ROBOTS語法錯誤了，ROBOTS設置不當使得文件根本就不起作用。其實說白了ROBOT文件的作用就是把自己需要被收錄的頁面提供給蜘蛛爬行，而不想被收錄的，那麼通過ROBOTS文件進行屏蔽，不讓蜘蛛爬行這些頁面，這樣就不會造成頁面被抓取了。所以說，ROBOTS在網站優化中的作用就是讓不利於搜索引摯收錄的頁面實行屏蔽，通過ROBOTS文件引導蜘蛛可以爬行哪些頁面和不可爬行哪些頁面。
ROBOT文件的設置方法
那麼新手在學習網站優化中，怎麼才能正確的設置ROBOTS文件呢，使之具有引導蜘蛛爬行自己允許的頁面呢？主要有幾個設置方法：
1. 整站屏蔽設置方法。如果你的網站不想被全部的搜索引摯收錄的話，那麼可以這樣寫：
User-agent: *
Disallow: /
2. 屏蔽某個文件。比如我不讓搜索引摯抓取ADMIN這個文件夾，自然需要用ROBOTS文件屏蔽ADMIN這個文件了，寫法：
User-agent:*
Disallow:/ADMIN/
3. 禁止某個搜索引摯抓取網站頁面。比如禁止谷歌機器人收錄網站的任何頁面，寫法：
User-agent:Googlebot
Disallow:*
4. 允許一個文件中的某個文件夾被抓取，比如允許FLIMS文件夾中的INDEX2.html文件被抓取，那麼就應該這樣寫：
User-Agent:*
Disallow:/FLIMS/
Allow:/FLIMS/INDEX2.html
其他類似的方法也以此類推，新手在設置ROBOTS文件時，可以多點參考百度優化指南中的相關介紹，這樣對於網站收錄量高低可以更容易掌握，而且也利於自己知道哪些頁面被收錄，哪些頁面自己禁止被收錄了。
在設置404頁面，站長應該以用戶體驗為參考對象，如果自己是網站用戶的話，當點擊到無效鏈接時，什麼樣的404對於自己更有吸引力。而ROBOTS文件主要是針對搜索引摯的，所以，只要設置正規，自然就不會影響到網站優化的效果，但是如果設置不當的話，可能會出現網站不被收錄的哦，或者自己不想被收錄的頁面居然收錄了，自已想被收錄的頁面卻沒有被收錄。所以，今天筆者簡單分析了404頁面和ROBOTS文件的設置方法，希望新手在學習網站優化的過程中，可以設置出適合自己網站的404和ROBOTS。本文就到這裡，由豐胸產品（http://www.fengxiong77.com/）獨家供稿，轉載請注明，謝謝！