以前覺得，網頁上面不需要的URL，我用robots屏蔽就行了。可是事實上並不是這樣。在GWT的Crawl Errors中，會出現Restricted by robots.txt這樣的錯誤。很奇怪，我用robots屏蔽了，為何還算做crawl errors呢？
我拿我自己的網站為例，我們的內頁是www.mydomain.com/A/1.html在這個頁面上有很多鏈接，其中有
www.mydomain.com/A/1/similar1.html
www.mydomain.com/A/1/similar2.html
這兩個鏈接是我不想讓搜索引擎爬行的。
原先只有similar1.html在網頁上出現，我用robots屏蔽後，GWT裡面出現了很多REstricted by robots.txt這樣的錯誤，錯誤的鏈接都是/A/*/similar1.html然後再之後一次網站改版時，我將這個鏈接nofollow掉了，但是為了實現某些功能，前台程序員們又加上了www.mydomain.com/A/1/similar2.html這樣的鏈接，我在第一時間內將其robot.txt。然後這時候我回頭看GWT裡面的crawl errors。所有的Restricted by robots.txt的條目都變成了similar2.html，而原先的similar1.html消失了。
我記得國平老師似乎曾經說過，就算你用robots.txt禁止了某類URL，蜘蛛依舊會去探測這個URL。同時Google官方也確認，網站的每日爬行數量和PR有一定關系，那在我PR一定的情況下，我每天被爬行的URL數量是一個差不多定值。然後這類被robots.txt禁止的URL被蜘蛛探測，依舊會占用其他正常URL的探測機會。只有當使用了nofollow後，才能讓蜘蛛徹底的不理睬這個URL，放在我上面的例子中來說，當蜘蛛來到/A/1.html頁面後，它檢查這個頁面的鏈接信息，發現了similar1.html和similar2.html這兩個URL，如果沒有nofollow，那它會探測這兩個URL, 當發現這兩個URL被robots禁止後，會返回google官方服務器一個數據，這兩個URL不能爬行。但是如果加上了nofollow，那蜘蛛可能連探測都不會去探測它是否遵循robots.txt，而是直接去請求下面的鏈接了。
因此nofollow的運用，是提高蜘蛛效率的最佳工具，而robots.txt和meta標記，只是為了減少網頁重復和垃圾信息的量。可以說是完全兩個用途。當然，配合起來使用，可以讓網站被搜索引擎爬行得更多，更好。