小貓今天想說的就是一個站長小伙伴們都非常熟悉的東西：robots文件，相信小伙伴們對這個文件都不陌生吧!但是呢小貓就發現，很多的站長小伙伴都忘記了robots的重要性，robots表示很生氣，後果很嚴重。小貓的SEO都是自學的，看到robots文件的問題以後，我就問了一些SEO大 神，robots文件很重要嗎?當時，這位大神就對小貓語重心長的說：robots可以成就你的網站，也可以毀掉你的網站，所以，robots還是很重要的。小貓用下面的小故事來告訴大家robots對站長小伙伴多麼的重要，這個故事是發生在別人身邊的，但是小貓為了敘述方面，就改為第一人稱了，小伙伴們 就不要在意這些細節了哈!
閒話少說，小貓來和大家聊聊robots對我們網站的一些影響。在A5站長網群裡有一位小伙伴跟小貓的關系比較好，有一次，他的網站有上千的收錄的，但是到一個下午以後，收錄突然變為0了。當時他非常的緊張，因為網站的收錄沒有了，網站的流量也沒有了，幸幸苦苦一個多月的時間，到頭來發現都是井中月水中花，看得見摸不到。當時這位小伙伴就很灰心，就跑到A5站長群裡聊天，問其他的站長小伙伴是怎麼回事，網站被K了啊，怎麼辦呢!A5站長群的小伙伴們還是很熱心的，有很多人幫他檢查原因，經過一段時間的 檢查以後大家發現了原因，那就是他網站的robots文件屏蔽了百度蜘蛛抓取網站頁面。
現在就有小伙伴想問了：為什麼會出現這種情況 呢?原因就在大他在做網站的時候robots文件是完全屏蔽了百度蜘蛛抓取的。相信大家都知道一個事實，就是當你寫好了robots文件規則，屏蔽了百度 蜘蛛的時候，發現百度還是會抓取的，道理很簡單，百度畢竟不是人，不能做到人一樣的智能化，所以百度還是會派蜘蛛來抓取頁面的，但是站長小伙伴也別慌，等過段時間以後，百度就會把已經抓取的頁面(robots文件屏蔽的)從自己的索引庫中刪除，百度也會有一個發現的過程，然後改正、糾錯。
這位小伙伴還問了一句話：為什麼會去屏蔽百度蜘 蛛啊?因為網站是剛做好的，而且他本人也有學習SEO，所以也知道關於robots文件方面的內容，明白做一個新網站可以暫時屏蔽百度蜘蛛，等網站做好了在提高給百度，並且把robots文件修改下，允許百度抓取。可能最後是他忘記了吧，把這麼關鍵的一步給忘記了，導致他幸幸苦苦做的網站和外鏈一夜回到解 放前了。不做死就不會死啊，那段時間他真的很痛苦，整個人的情緒也不是很高。
小貓想通過這個小伙伴的經歷提醒大家去重視 robots文件這個問題。robots很重要，請不要輕易的忽視了，順便小貓也說說自己做robots文件的一些經驗，我記得在網站剛開始的時候，小貓 也沒有注意robots文件這個東西，覺得這個東西無所謂啦。然後通過一段時間自己摸索，小貓發現自己錯了，小貓開始重視這個問題，然後把網站上一些垃圾 的、不想推的頁面和圖片全都給屏蔽了，頁面主要都是動態的，大家都知道百度喜歡的是靜態的頁面，如果你的網站是動態的，會造成搜索引擎的多次抓取，給度娘 的態度很不友好，浪費的蜘蛛的時間和資源，你說度娘會對你的網站有所青睐嗎?還有圖片也是采集其他網站上的，百度會抓取一些原創圖片，如果你的網站再次使 用，就會導致百度認為你的網站是抄襲和偽原創的，這導致的後果不用小貓在這裡啰嗦了吧?
小貓總結：
說了這麼多，小貓只是要提醒站長小伙伴重視robots文件，這關系到自己網站的流量，網站要是沒有流量了，那麼站長小伙伴還做網站干嘛?這也關系到養家糊口嘛，嘿嘿，小貓說的有點遠了，今天就白話到這吧，我們明天再見!
本文由中國防水塗料網 http://www.chinafstl.com/小貓原創首發，轉載請注明!