常見的蜘蛛陷阱分為以下的幾種:
常見一:JavaScript鏈接
示例:
常見二:在網頁裡穿插FLASH
示例: flashObject('index.swf')
常見三:Sesssion ID
示例:
百度推廣官方網站
http://fengchao.baidu.com/nirvana/main.html? userid=2473126#/manage/plan~_r=iwqk6gnq1y
http://fengchao.baidu.com/nirvana/main.html? userid=2473126#/manage/plan~_r=3br2o0us12
其中,紅色字體為Sesssion ID值
常見四:框架結構(iframe)
示例: 百度MP3音樂盒
/* NOTE: remove when alb release
*#girliframe{width:340px; height:500px;border:0;} **/
紅色代碼為百度音樂盒調用框架結構
常見五:動態RUL、參數過多RUL
示例: http://list.tmall.com/search_product.htm?spm=3.54626.101437.97&navlog=1&nav=spu-cat-qp&style=g&sort=s& q=%BF%C6%B1%A6&n=40&s=0&cat=50030199&is=cate#J_crumbs
此URL中,動態參數過多,不利於搜索引擎蜘蛛抓取
常見六:社區等需要登陸的頁面
蜘蛛和人一樣如果需要訪問一些沒有權限的頁面的話,一樣需要登陸進去,但是蜘蛛不會和人一樣申請賬號來登陸,所以抓取不到沒有權限的頁面。
在做SEO的時候盡量避免以上的一些不利於搜索引擎抓取的代碼及結構,讓搜索引擎更容易的看懂你的網站!