眾所周知，twitter在前段時間，PR值由9降到了0，並且眾多頁面不被谷歌Robot抓取，眾人嘩然！雖然現在已經恢復。但是這是怎麼回事呢？獨孤依風引用谷奧的內容為大家解密下twitter網站動蕩真相！
首先，Twitter PR及眾多頁面不被抓取是由自身技術引起的，跟谷歌的搜索機制沒有關系。
導致twitter此次動蕩的有五大技術問題：
（1）robots設置問題
twitter在設置Robots時，針對帶WWW和不帶WWW設置了兩個Robots標准。如下所示：（A為不帶www的Robots設置，B為帶WWW的Robots設置）
A：The file at twitter.com/robots.txt looks as follows：
#Google Search Engine Robot
User-agent:Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Allow: /*？*_escaped_fragment_
Disallow: /*？
Disallow: /*/with_friends
#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay:1
Disallow: /*?
Disallow: /*/with_friends
#Microsoft Search Engine Robot
User-Agent:msnbot
Disallow:/*?
Disallow:/*/with_friends
# Every bot that might possibly read and respect this file.
User-agent:*
Disallow:/*?
Disallow:/*/with_friends
Disallow:/oauth
Disallow:/1/oauth
B：the file at www.twitter.com/robots.txt file looks as follows：
User-agent:*
Disallow:/
twitter針對帶www和不帶www設置了兩個不同的Robots標准，這樣就可以看出：
1、針對帶WWW和不帶WWW的網站，搜索引擎按照Robots標准，返回的搜索結果不相同，同時也不規范。
2、twitter在阻止搜索引擎抓取帶WWW的網址。
3、通過封鎖帶www的網站，即使將其301重定向到不帶www的網站，那也是徒勞無功！
4、由於帶www和不帶www的都有外部鏈接，但是帶www的阻止搜索引擎抓取，那麼對於提升twitter網站整體權重來說，該外部鏈接的價值並沒有得到有效利用！
（2）302重定向問題
twitter.com / vanessafox使用了302重定向到twitter.com /＃!/ vanessafox。眾所周知，302重定向為暫時性轉移，會抓取新內容而保存舊網址，並且原來的鏈接不會全部轉移！
（3）沒有遵守谷歌AJAX抓取標准
Twitter的網址是AJAX和使用＃!，告訴谷歌從服務器獲取_escaped_fragment_版本的URL。由於沒有使用301重定向，導致失去了很多相關URL頁面，沒有將AJAX和重定向很好地結合起來。
（4）速率限制
在HTTP標頭可以看見速率限制。
HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124-32783-45463X-RateLimit-Limit:1000
（5）網址不規范
twitter.com / VanessaFox顯示搜索結果，是twitter.com / vanessafox。這兩個URL導致了同一個地方。這是造成又一次的PageRank稀釋，重復，和規范化問題。這裡最好的辦法是正常化的網址一個變化（最簡單的方法是選擇全部小寫），然後301重定向所有變化。另外，Twitter的可以簡單地添加的rel =規范屬性指定規范版本的所有網頁 。
從以上可以看出，Twitter是有麻煩的robots.txt，HTTP狀態代碼和URL規范化。這是很多大型網站面臨的問題。至於谷歌PR工具欄是否刷新，那是谷歌的問題。
從Twitter技術漏洞可以告誡各位站長：
（1）設置Robots一定要統一，集中權重，以防走失。（2）302重定向沒有301重定向好（3）必須遵守谷歌AJAX抓取標准（4）不要在HTTP標頭限制速率（5）網址要規范，統一，不能摻雜在一起隨意亂用！
來文首發於獨孤依風seo中心（www.seo0359.com） 站長獨孤依風原創！如若轉載，請保留原文鏈接地址！互聯網精英第一群：76933546，誠邀廣大知名站長加入！
感謝 獨孤依風 的投稿