在SEO工作中，網頁被收錄是基礎工作，但對於搜索引擎來講，極少情況會100%收錄你網站的所有網頁，搜索引擎的爬蟲程序設計的再精巧，也難以逾越所謂的蜘蛛陷阱（蜘蛛陷進）。
蜘蛛陷阱是組織蜘蛛程序爬行網站的障礙物，通常是那些顯示網頁的技術方法，目前很多浏覽器在設計的時候考慮過這些因素，所以可能網頁界面看起來非常正常，但這些蜘蛛陷阱會對蜘蛛程序贊成障礙，如果消除這些蜘蛛陷阱，可以是蜘蛛程序收錄更多的網頁。
很對蜘蛛陷阱都是先進的技術方法，開發成本相對也較大，但是這些的確會影響搜索引擎對你網站的了解，甚至還可能被整個網站都不被搜索引擎收錄，那麼，當務之急，是消除這些蜘蛛陷阱，讓搜索引擎收錄你的更多網頁，這才將有利於你的SEM營銷計劃的開展。
robots.txt 文件看似一個簡單的文本文件，放在網站的根目錄下面，但它可以告訴搜索引擎的蜘蛛程序在服務器上的那些文件是可以被查看的，那些文件是私人文件將不被查看。
1、User agent（用戶代理）：User agent 定義了下面的禁止命令使用於那個蜘蛛程序，如果對 User agent 定義為星號（*），則表示針對所有的蜘蛛程序。
User-agent: Baiduspider （百度蜘蛛）
Disallow: /
User-agent: * （所有蜘蛛）
Disallow: /
2、Disallow（禁止）：禁止指明了具體那個文件蜘蛛程序不能查看，可以指定精確的文件名或者任意文件，甚至是目錄名的一部分，比如：
User-agent: * （所有蜘蛛）
Disallow: /（所有文件被禁止查看）
User-agent: Baiduspider （百度蜘蛛）
Disallow: /admin （根目錄下任何以admin開頭的目錄和文件）
User-agent: * （所有蜘蛛）
Disallow: /admin/（admin目錄和該目錄下的任何文件）
意外的失誤對網站帶來的影響很普遍，在網站上線之前可能會對整個網站暫時屏蔽，但上線以後往往忙於其他事情而忘記該文件的更正，導致網站不能正常被搜索引擎收錄。
除了robots.txt文件外，還應該注意元標記也可能會導致同樣的問題，但這類情況往往很少。
雖然彈窗（彈出窗口）很吸引眼球，但大多數用戶都不喜歡它，因為這些“小廣告”是強制展示給用戶的，可能用戶正在認真浏覽他感興趣的信息，這時候彈到用戶面前，感受可想而知。
如果使用彈窗來顯示一些補充和重要內容，最好在網站地圖或者其他正常網頁上給這些頁面做上鏈接，不然可能或導致這些頁面的無法正常收錄。
蜘蛛程序對JS的理解還不深入，一些在JS存在的鏈接可能無法被蜘蛛程序捕捉到，而往往菜單中的鏈接又是很重要的，所以使用JS下拉菜單的網頁最好使用html重新這些鏈接。
除了用html代碼，還可以使用<noscript>來使這些重要鏈接被正常捕捉，因為一些舊的浏覽器不支持 JavaScript，或者一些用戶禁用了浏覽器的這些功能，這樣會導致不能執行網頁上的JavaScript代碼，如果下拉菜單需要 JavaScript，那麼，在不支持或者禁用了的浏覽中，下拉菜單將不會被正常顯示。
在使用<noscript>標簽的時候，注意<noscript>標簽中的html代碼中的每個鏈接最好使用絕對地址。另外在網頁地圖中也加上這些網頁的鏈接，可以更好的保證蜘蛛程序發現他們。
動態網址是指html代碼沒有永久性的儲存在網站服務器文件中的網頁，用戶看見的頁面是網站程序實時創建了html。
由於動態網址中可能包含多個參數（比如“&”），這些參數給蜘蛛程序造成了障礙，因為任何值都能夠傳給變量，蜘蛛無法知道對於同一個網頁到 底能夠顯示多少個不同版本，有時候傳遞個每個參數的不同值表明了這些網頁之間的差別，但這些值與顯示的網頁沒有任何聯系。有時候被用來記錄用戶行為的跟蹤 代碼，這樣的網頁如果被蜘蛛程序捕捉到，那麼，一個蜘蛛程序可能會看同一個網頁很多遍，這樣大大浪費了蜘蛛程序的時間（利用這些時間可能會查看更多有用的 網頁），而且會導致大量重復的網站被收錄。
隨著動態網址越來越多，搜索引擎也對蜘蛛程序進行了升級，目前對於動態網址，蜘蛛程序可能做到：
某些網站的開發考慮了一些重要因素，可能需要用戶開啟浏覽器的某項功能或者采取某些行為才能正常執行，這些對於網頁的用戶體驗損害很大，常見的有：
1、需要 cookie：cookie是儲存在用戶計算機中的信息，網頁可以使用這些數據來了解用戶信息，但是蜘蛛程序不能接受cookie，如果你的網頁必須依賴cookie，建議取消這些功能或使用其他技術來實現搜索引擎與用戶看見相同的網頁。
2、需要下載軟件：蜘蛛程序只能讀懂文本文件，例如html和pdf文件，因為這些文件中含有可供搜索的文字信息，因此當他們遇到需要軟件下載的時候，可能就是繞過去了。所以盡量避免這樣的事情發生，尤其是在網站首頁。
3、要求提供信息：很多網站設計人員要求用戶輸入某些信息或者回答一些問題才允許浏覽網頁，如果你的網頁需要用戶操作而不是點擊一個標准的超文本鏈接，蜘蛛程序可能會無法理解而轉走。
4、需要JavaScript：蜘蛛程序不能執行JavaScript，而且一些用戶可能會由於考慮到安全原因將浏覽器的JavaScript關 閉，如果你的網頁在允許顯示之間先要測試JavaScript，那麼，他就不能向蜘蛛程序顯示，而上面的鏈接也不能讓蜘蛛程序抓取。
重定向允許舊的URL被重新指向到目前的URL上，往往發生在URL臨時或永久性改變的時候用到，我們在SEO中有時候為了規范URL或確定首選域的時候也會用到重定向，但可能會用有些原因會讓用戶依然使用舊的URL：
1、書簽：如果用戶給舊的URL加了書簽，那麼，這些書簽會在改變之後，首次訪問出現404錯誤；
2、鏈接：互聯網上的其他鏈接可能或鏈接在舊的URL，所有這些鏈接在改變URL又沒有使用重定向的時候就成為了死鏈接；
3、搜索結果：在改變URL之前，你的舊URL可能被搜索引擎收錄而且出現在某些詞的搜索結果中，由於沒有使用重定向，用戶點擊這些舊的URL，也可能會出現404錯誤。
對於蜘蛛程序來講，重定向的結果最好是返回301狀態碼，也就是我們經常說的301重定向，那麼，這樣可以使蜘蛛程序：
對於重定向，請避免一下方式：
JavaScript重定向：一種執行重新鏈接的方法是嵌入JavaScript代碼，比如在舊的URL網頁包含下面JavaScript代碼：
<script type=”text/javascript”>window.location=”http://www.scseoer.com/new-url.html”</script>
Meta更新重定向：有時候也叫做網頁刷新，這種是讓網頁在指定時間內自動刷新到新的網頁，比如：
<meta http-equiv=”refresh” content=”5; url=http://www.scseoer.com/new-url.html” />（5秒刷新）
有時候由於某些原因可能會臨時改變URL，這時候可能會用到302代碼來做臨時的重定向，這樣搜索引擎在索引中會使用臨時重定向的URL，但收錄的內容還是重定向的網頁。
無論使用301永久性重定向還是臨時重定向，需要注意的一個問題，那就是在已經實施了重定向後，就不要再給URL加上跳轉或再次重定向，這樣導致的 循環重定向，這樣不但給用戶體驗帶來了影響，還可能因為跳轉太多導致蜘蛛程序放棄這些網頁，當我們對網頁進行了重定向後，需要對兩個URL進行檢測 （http://tool.chinaz.com/pagestatus/），看是否操作成功。
這樣的問題看起來發生才可能性很小，但存在這樣問題的網站還是很多，當蜘蛛程序訪問網站的時候，網站服務器必須處於正常的運行狀態。否則可能會因為蜘蛛程序多次訪問不成功，誤認為你的網站已經不存在而將搜索引擎中的網頁刪除。
另外一個因素是訪問速度過於緩慢，很對時候網站服務器在技術重啟的時候會變得很慢，導致蜘蛛程序很快放棄網站，很少有蜘蛛程序會等待一個網頁加載 10秒以上，而且緩慢的加載速度同樣會影響對你網站感興趣的忠實用戶，為了讓蜘蛛和用戶更加喜歡你的網站，迅捷的響應速度是非常有必要的。