很多站長都在抱怨自己的網站經常性的不能被收錄，其實很大一部分是由於不太了解蜘蛛陷阱而導致了自己的網站不是一個利於搜索引擎蜘蛛爬行的網站，今天黃文星就為大家介紹下常見的蜘蛛陷阱以及處理方法：
所謂的蜘蛛陷阱就是指由於一些不太合理的導致不利於蜘蛛爬行和抓取的網站設計技術。就蜘蛛的的角度來講，一個網站在抓取和爬行時總是會遇到問題，就會被視為一種不友好的表現，所以久而久之就導致了網站不被收錄、快照不更新等問題。所以要分析蜘蛛陷阱就應該以蜘蛛的角度來看待一個網站的設計。常見的蜘蛛陷阱有：
占據頁面內容過多FLASH
在網頁的某一部分使用FLASH增強視覺效果是很正常的，這也是提高用戶體驗的一種好方法，但是有的王章的首頁就是一個巨大的FLASH文件，沒有其他的文字內容，這就構成了一個蜘蛛陷阱，因為蜘蛛是不能讀取FLASH裡面的文字內容和鏈接的。於是整個網站在蜘蛛眼裡就只有一個FLASH網站，可能視覺效果給人一種非常精彩的感覺，但是，這就相當於瞎子電燈—白費蠟了，因為蜘蛛是看不到它的。所以說一個網站不要讓FLASH占據了你過多的頁面，如果你必須要這麼一個效果，至少要在首頁加上一個通往HTML版本的鏈接，畢竟蜘蛛是不會通過FLASH進入你的HTML頁的。
長而不利於記憶的動態的URL
因為動態的URL其中一般都會帶有問號、等號及參數等大量信息。因為這樣的URL很容易讓蜘蛛陷入一個無限循環或者大量收錄重復內容的怪圈，所以蜘蛛對動態的URL也是敬而遠之的。所以說我們最好能使用服務器URL重寫模塊將這些動態的URL靜態化，也就是大家常說的偽靜態（這個以後會在為大家詳細講述）。而且由於太長的動態URL地址不利於記憶，所以靜態化對於用戶體驗來說也是十分有必要的。
令人誤解的JAVASCRIPT鏈接
由於javascript（下面簡稱JS ）可以創造很多吸引人的視覺效果，所以想現在很多網站喜歡用JS腳本來生成導航系統。這就陷入了合上面過渡使用FLASH一樣的蜘蛛陷阱了。應為過渡注重用戶體驗而導致不利於蜘蛛的爬行，因為蜘蛛是不能解析JS腳本的。所以網站上的鏈接最好是能是同最簡單標准的HTML鏈接，其實通過CSS我們也能做出很多的視覺效果，不要過分糾結於JS所產生的效果（其實JS腳本可以用於制作一些站長不希望被收錄的頁面，以此來阻止蜘蛛的爬行）。
隱藏登陸板塊
有的網站把內容放到了需要用戶登陸之後才能看到的會員區域，雖然可以加長用戶在網站的體驗時間，但是你要記住，蜘蛛並不是人，它不會填寫用戶名、密碼，當讓更加不可能去注冊了。所以你這一部分內容是無法被蜘蛛找到的。所以各位站長不要講自己希望被收錄的內容放在那些需要登錄的隱藏版塊裡面，畢竟藏起來的東西並不是為了讓別人找到的，不是麼？
豪無意義的跳轉
除了必要的301跳轉之外，搜索引擎對其他的跳轉都很敏感。試想下蜘蛛進入你的網站之後，立刻就被拉去別的地方，肯定會給蜘蛛留下非常不好的印象，而且現在很多黑帽SEO都利用這種轉向欺騙搜索引擎和用戶，所以不到萬不得已的情況盡量不要用301跳轉以外的跳轉（301轉向由於是搜索引擎推薦用於網址更改的轉向，是一種傳遞權重轉向，所以不會對搜索引擎產生不利的影響）
總之來說，就是要做一個搜索引擎友好的網站設計，只有你的網站總是能讓蜘蛛能簡單舒適的爬行和抓取你的網站，同理蜘蛛就會更喜歡光臨你的網站，網站就能有一個健康而穩定的發展。