就在剛才百度站長平台發布了一篇水文,名字是《如何識別baiduspider》,說實話這個問題已經在很早以前就關注了,假如你需要學習網站日志的分析的話,這關是必須要注意的。一下內容由樂陵SEO編輯整理,如有轉載請注明出處!
對於沒有學會的同學,今天先說下如何識別百度Spider,之後再教大家分析網站日志,以及需要利用的工具!
如何識別百度spider或者其他搜索引擎的來訪,主要手段是iP反查,以及搜索引擎的蜘蛛命名。在這裡Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
不同平台的檢測方式:
1、在linux平台下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。
3、在mac os平台下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。