網站要在搜索引擎獲得良好的流量，就一定要提高網站的收錄，以站內頁面更加多的潛在關鍵字盡可能在搜索排名上占領一席之地。國內網站普遍瞄准的SEO市場就是百度搜索引擎，可是站長到最後都會發現，除了收錄首頁之外，站內的頁面寥寥無幾。為何它現在都不再隨便收錄我們的內頁？
很多網站一直普遍做法就是在首頁加上自己的主關鍵字，再在站內使用采集或者機器添加一些亂七八糟的文章，目的是用來維持網站在百度快照日期的“新鮮度”（認為這是毫無意義的事情）——互聯網的車亂從沒有停止過並且發展到今天，我認為這就是如今導致搜索引擎不再隨便收錄網頁原因。如何才能讓百度收錄你的網站的更多頁面信息，你就必須從搜索引擎收錄機制的角度出發。
推測百度的收錄機制，就要明白“蜘蛛”工作的原理
百度搜索引擎有一個俗稱“蜘蛛”的自動程序（英文名是“Baiduspider”），它的作用是訪問互聯網上的網頁、圖片、視頻等內容，建立索引數據庫，使用戶能在百度搜索引擎中搜索到您網站的網頁、圖片、視頻等內容。搜索引擎的基本工作原理包括如下三個過程：首先在互聯網中發現、搜集網頁信息；同時對信息進行提取和組織建立索引庫；再由檢索器根據用戶輸入的查詢關鍵字，在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並將查詢結果返回給用戶。
1、“蜘蛛”只不過是也采集器，只是比較先進而已。
作為全球最大的中文搜索引擎，面對著單單要處理的中文網站目前就有幾百萬個，那麼網站內頁的數量就如天上的繁星。現在從科學的角度來個假設，既然百度“蜘蛛”叫得上為自動程序，那麼的是會越來越先進的東西（就像未來的機器人一樣越來越智能了），讓它們能夠自動判斷捕捉到的頁面內容到底有沒有用，有的話就直接把數據放進口袋，然後再根據當前頁面的鏈接爬到新的頁面來個循環捕捉，直到口袋裝滿了就把信息帶回去給服務器經過一系列更加專業的計算去對比……去判斷是否需要正式收錄進數據庫。整個過程就像采集器一樣，按照預先設置好采集規則，然後過濾不符合規則的信息。
2、可能被判斷會被收錄進數據庫的信息
我很多時都逛很多知名的數碼網站，發現他們的內容很多都是千遍一律的互相采集（復制），並且沒有作任何修改處理，居然還被各大搜索引擎收錄展示。可憐的小站長辛苦采集了成千上萬的數據，再苦等一段日子後，居然只有首頁或大不了多幾個站內頁面被收錄。是否有有人埋怨這太不公平了，為何他們采集數據可以被收錄，而我的不行。百度搜索引擎收錄機制其中有一個這樣的參考因素，“權重”（就是搜索引擎對站點權威的判斷）。
網站被“蜘蛛”捕捉過的第一天起就會一直監視網站的一舉一動，並且給出該網站的域名一個“分數”作為衡量“權重”有多高。筆者認為影響權重的其中一個主要因素，以“新浪網”為例，它被百度搜索引擎監測到很多獨家內容（原創）從“第一現場”被轉載到其它地方，還有很多帶有文字鏈接和不帶鏈接的靜態網址、網站名稱（新浪網、新浪）頻繁地出現在各大小網站——也即“曝光率”。
其實搜索引擎這樣的收錄機制去處理數據是非常明智的，不但節省了時間、還減輕了服務器的負擔，也是非常有經濟效益的手段。
網站權重高低的收錄待遇
假設：A站和B站等權重都為9分，大於C站權重為2分；
（1）如果A站采集了B的內容，搜索引擎多數會收錄，並快速顯示搜索結果
（2）如果A站采集了C的內容，搜索引擎多數會收錄，並快速顯示搜索結果
（3）如果C站采集了A站、B站的內容，可能不會被收錄，又或者就算收錄了也要好幾天會顯示出搜索結果
高權重網站無論向是否同級別的網站獲取內容會更容易被收錄，並且會快速顯示出來。因為高權重的網站在搜索引擎裡面代表的是一種權威性、曝光度，所以搜索引擎就很可能會認為該網站提供的信息無論與否采集、歷史是否悠久的內容對於網民很有可能是有一定需要。也意味著這個網站上的信息平時很多人浏覽、傳播速度很快，及時把內容收錄起來並以最快速度向進行搜索的用戶展示其相關結果是非常有必要的，從而提升用戶在搜索引擎中的良好體驗。
權重不太高的網站復制和轉載一些目前熱門或者比較過去式的內容，當這些內容被“蜘蛛”判斷分析過後，發現該內容已經有很多尤其是高權重的網站轉載過了，覺得沒有必要再把數據帶回去給搜索引擎的服務器進行處理。為什麼要會這樣判斷？既然搜素引擎的數據庫裡面早已經有這樣的信息，還是在一些高權重網站獲取回來的，就算用戶搜索與其相關信息時，也可以提供到很多相關內容，並且權威性也比較強。假如你是百度搜索引擎的工程師，當用戶搜索“扁桃體炎”的時候，你也會告訴用戶百度百科不錯、某某健康網也挺專業的。搜索引擎作為用戶的朋友不會無緣無故推薦一個江湖游醫給你身邊的人，弄不好還會給人臭罵一頓。
例如：某大型網站今天發布了去年已經被轉載無數次的考試作文，由於權重高的網站搜索引擎對它有一種信任感，認為該他們提供這條信息一定是有必要性的才被重新發布。當有用戶正在搜索以該作文有關的信息時，搜索引擎會查詢數據庫裡擁有相關匹配的信息，然後再根據網站當前頁面的權重高低以排名方式展示其搜索結果。把搜索引擎就像你的朋友一樣，當你問百度哪裡查找到有關“iPhone 4S”的最新消息？搜索引擎就會告訴你，我認識一堆江湖兄弟叫做太平洋、新浪、網易……它們好像知道，你去那裡看看有沒有相關資訊，如果沒有你可以打開第二頁或者繼續往後看看一些不太