大型網站獲取流量最重要的方式之一就是要大量收錄，依靠大量長尾關鍵詞獲得流量，但是大網站很多收錄都不充分，甚至一半都不到，利用IIS日志工具進行查看，也能發現有些頁面存在問題，蜘蛛甚至幾年都不曾到達，那麼何談收錄和排名呢？對於小網站來說，即使網站架構不是很好，內部優化不是很健全，但也能收錄大部分網頁，因為本身內容太少，頁面結構也簡單，所以收錄不是難事，但是對於上規模的網站，收錄問題就不再是簡單的問題。下邊從幾個方面和大家探討一下。
URL優化：優化URL不是難事，但是是有意義的事情，大家可以看看越來越多的網站都把URL結構優化的非常簡單易懂，容易抓取，尤其是很多B2C商城，以前URL路徑都十分復雜，參數眾多，現在都優化的非常好。雖然蜘蛛也抓取動態網頁，但如果做成靜態，對於有大量內頁的大型網站，就能為蜘蛛的爬行減輕很多負擔。
優化排版：排版的重要目的是讓蜘蛛爬行的更加順利，抓取的內容更好的獲得排名。排版有問題的網站長尾排名會直接受到影響，比如同樣的權重和收錄，排版好的頁面獲得的排名要高於一般性的排版頁面。影響排名的主要因素就是標簽的合理使用、重要內容是否突出（比如靠左、靠前）。
優化翻頁：翻頁十分重要，如果網站內頁比較多，很多頁面蜘蛛是通過翻頁才能夠到達，一般來說，不宜超過三到四次點擊，如果點擊次數很多才能夠到達，那麼對於蜘蛛而言就會放棄抓取和收錄。一般優化網站翻頁需要從程序著手，比如一到十分頁之後，底部最好有十到一百的翻頁結構；另外一個方面，就是通過分小類的方法，多分一類別，就能減少很多點擊次數，從而讓蜘蛛更容易爬行和收錄。
降噪優化：降噪優化主要是減少多余的程序代碼，一般優化的重點就是JS與CSS，把一些花裡胡哨的功能都去掉，把必須的JS封裝進JS文件，把table布局的頁面改變成為css，少使用flash和ajax腳本，大家可以想下，如果內頁的模板中使用了這樣的代碼，那麼如果有100w和內頁，則相當於增添了100w個這樣的程序，對蜘蛛而言，如果頁面進行優化，就會節省很多時間用於收錄其它頁面。
robots優化：這點很多站長都忽略掉了，一個網站，如果功能比較強大，那麼很可能同一頁面就對應多個URL路徑，比如在價格、顏色、尺寸等不同屬性的頁面，重復度極高，再比如靜態、偽靜態和動態之間，也有可能存在這個問題，所以必須在robots文件中禁止搜索引擎對頁面的請求和爬行，這對於提高收錄也是非常有幫助的。
nofollow標簽：對於小網站和大網站，使用nofollow與否差別是非常大的。因為小網站一般收錄都沒有問題，小網站本身的內容就不多，而大網站情況則不同，很多收錄都有障礙，所以要集中權重，把蜘蛛引導有價值的頁面，對於一些沒有價值的鏈接要nofollow掉。大型網站使用過nofollow後就會知道它的重要性，雖然它不能為你節省PR值，但一定能累積權重，把權重合理分配，大家可以看看一個門戶的頻道頁，nofollow使用的非常得體。
到這裡基本總結差不多了，其實網站的優化核心都類似，但是不同的網站，效果往往也是不同的。不同行業，不同規模，就會有不同結果。一些站長感覺很多基礎性的東西不重要，其實基礎性的東西往往在你網站達到某種規模的時候才能起到作用。好了，今天的文章就分享到這裡，以後接著繼續。