本文先引用幾句話:
“確解用戶之意，切返用戶之需。”
“門戶網站都想著是怎樣省錢，而不是怎樣花錢來買技術。”
“搜索引擎不是人人都能做的領域，進入的門檻比較高。”
“只是優秀還不夠，最好的方式是將一件事情做到極致。”(google十大真理)
“做搜索引擎需要專注” “對於一項排到第四的業務，門戶很難做到專注。”
“用戶無法描述道他要找什麼，除非讓他看到想找的東西。”
“所謂楔形，其實就是個倒三角，倒三角的尖端部分代表搜索技術，中部是基於技術的產品應用平台，最上端是對整個搜索引擎用戶人群文化的認識和理解，以及現代公司競爭最關鍵也最捉摸不定的所謂品牌。”
“楔形”蘊涵的另一個意義是:楔子要打到牆裡，尖端是否銳利很重要，但楔子的破壞性有多強，究竟能在牆面擠壓出多大的空間，其中端、後端的沉穩與厚重才是關鍵。
搜索引擎的技術和理念都是需要時間和經驗的積累的，更是需要長期不斷的完善進步的，絕對不要認為可以一蹴而就，要達到一個相對成熟領先的搜索引擎從開始到領先的周期一般需要是四年。著急不得。原因是因為搜索引擎太復雜，而且“用戶無法描述他要找什麼，除非讓他看到想找的東西。” 一切都需要摸索，嘗試，問題需要一個一個解決，用戶的需要得一點點的挖掘。
搜索引擎是一個產品，給用戶提供服務的產品，需要長期的不斷的改進升級調整才能持續不斷的提用戶體驗，需要滿足用戶不斷增長並且變化的需求、需要不斷適應網絡的變化。這是因為網絡環境是不斷變化的、網民的需求也是不斷變化的。千萬不要把搜索當成項目來做，做完了撂那讓用戶去用那你肯定沒戲。在搜索引擎領域是講體驗的、新的引擎如果用戶體驗一旦整體上有領先一年以上的差距並且持續2年，那前期的領先者的優勢就蕩然無存，因為搜索引擎的用戶轉移成本相對而言是比較低的而且口碑是最佳的傳播方式。如果一個搜索引擎不能持續不斷的技術創新理念創新，那對於這個搜索引擎來說就等於死亡。我們一般形容搜索引擎的領先是以時間計算的。比如:中搜離百度整體差距×年，百度離google的整體差距×年，……只要你能在用戶體驗上保持一年的領先優勢持續2年，不需要炒作，一切紛至沓來。在用戶體驗面前，任何的炒作都顯得很渺小。
作垂直搜索引擎，麻雀雖小，但是五髒俱全。無論理念文化、產品管理、應用、技術都和搜索引擎的楔形理論沒有什麼區別。所以要做好一垂直搜索必須解決這幾個方面。
楔形的尖:垂直搜索技術。
垂直搜索技術主要分為兩個層次:模板級和網頁庫級。模板級是針對網頁進行模板設定或者自動生成模板的方式抽取數據，對網頁的采集也是針對性的采集，適合規模比較小、信息源少且穩定的需求，優點是快速實施、成本低、靈活性強，缺點是後期維護成本高，信息源和信息量小。網頁庫級就是在信息源數量上、數據容量上檢索容量上、穩定性可靠性上都是網頁庫搜索引擎級別的要求，和模板方式最大的區別是對具體網頁不依賴，可針對任意正常的網頁進信息采集信息抽取……。這就導致這種方式數據容量上和模板方式有質的區別，但是其靈活性差、成本高。當然模板方式和網頁庫級的方式不是對立的，這兩者對於垂直搜索引擎來說是相互補充的，因為技術只是手段，目的是切反用戶之需。本文談及的技術主要是指網頁庫級別垂直搜索引擎技術。
搜索引擎的確是一項對技術要求比較高的應用，幾年前相關的人才也比較少。現在搜索技術人才多了，相關的技術和技術的應用得相對以前而言更加成熟，但是競爭也更加激烈了。垂直搜索大致需要以下技術:
1. 信息采集技術
2. 網頁信息抽取技術
3. 信息的處理技術，包括:重復識別、重復識別、聚類、比較、分析、語料分析等
4. 語意相關性分析
5. 分詞
6. 索引
信息采集技術，垂直搜索引擎spider和網頁庫的spider相比應該是更加專業，可定制化。可定向性的采集和垂直搜索范圍相關的網頁忽略不相關的網頁和不必要的網頁，選擇內容相關的以及適合做進一步處理的網頁深度優先采集、對頁面有選擇的調整更新頻率……，采集可通過人工設定網址和網頁分析url方式共同進行。垂直搜索對信息的更新有著特別的要求，根據這些特點可以從以下幾點考慮1.信息源的穩定性(不能讓信息源網站感覺到spider的壓力)2.抓取的成本問題3.對用戶體驗改善程度。根據以上幾點制定一種比較好的策略，要做到恰到好處。策略上可以評估網站/網頁更新的系數、網站/網頁的重要系數、用戶點擊系數(或曝光系數)、網站穩定系數……，根據這些系數來確定對這些網站/網頁更新的頻率。再由於新信息和更新了的信息list頁面前面或者首頁，所以對網頁進行很好的分級可以以低成本很好的解決更新問題，系數比較低的網頁一月update一次，稍微高點的一周update一次、中等的幾天到一天一次、高的幾小時到幾分鐘一次。類似搜索引擎的大庫、周庫、日庫，小時庫……
基於視覺網頁塊分析技術，模擬IE浏覽器的顯示方式，對網頁進行解析。根據人類視覺原理，把網頁解析處理的結果，進行分塊，再根據需要，對這些塊進行處理，如:采集定向、介紹抽取和一些必要的內容的抽取正文抽取……
結構化信息抽取技術，將網頁中的非結構化數據按照一定的需求抽取成結構化數據。有兩種方式，簡單的就是模板方式，另外就是對網頁不依賴web結構化信息抽取方式，這兩種方式可以互取長處，以最簡單最有效的辦法滿足需求。垂直搜索引擎和通用搜索引擎最大的區別就是對網頁信息結構化抽取後再結構化數據進行深度的處理，提供專業的搜索服務。所以web結構化信息抽取的技術
123下一頁