今天百度站長工具更新了robots提示功能,站長在robots.txt制作後,通過站長平台可以直觀的了解到那些是搜索引擎可抓取、那些是被屏蔽的,避免因疏忽而屏蔽蜘蛛,導致收錄減少。
因為我之前一直用Google的robots工具制作,比起Google網管工具的來更直觀,不會制作robots的站長朋友可以使用此工具,如下圖所示:
小知識:robots.txt可以告訴搜索引擎您的網站哪些頁面可以被收錄,哪些頁面不可以被收錄,如果您不想讓搜索引擎收錄您網站的某些內容,請用robots.txt文件指定搜索引擎在您網站上的抓取范圍。robots.txt制作好後放到網站「根目錄」就可以拉!
除非注明,文章均為盧松松原創,歡迎轉載!轉載請注明本文地址,謝謝。
本文地址:http://lusongsong.com/blog/post/545.html
注:相關網站建設技巧閱讀請移步到建站教程頻道。
收藏本文