在互聯網發展初期，網站相對較少，信息查找比較容易。然而伴隨互聯網爆炸性的發展，普通網絡用戶想找到所需的資料簡直如同大海撈針，這時為滿足大眾信息檢索需求的專業搜索網站便應運而生了。
現代意義上的搜索引擎的祖先，是1990年由Montreal(加拿大的蒙特利爾)的McGill University學生 Alan Emtage、Peter Deutsch、Bill Wheelan發明的Archie。雖然當時World Wide Web還未出現，但網絡中文件傳輸還是相當頻繁的，而且由於大量的文件散布在各個分散的FTP主機中，查詢起來非常不便，因此Alan Emtage想到了開發一個可以以文件名查找文件的系統，於是便有了Archie。Archie是第一個自動索引互聯網上匿名FTP網站文件的程序，但它還不是真正的搜索引擎。Archie是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載該文件。
Archie工作原理與現在的搜索引擎已經很接近，它依靠腳本程序自動搜索網上的文件，然後對有關信息進行索引，供使用者以一定的表達式查詢。由於Archie深受歡迎，受其啟發，美國的內華達州System Computing Services大學於1993年開發了一個Gopher搜索工具Veronica。Jughead是後來另一個Gopher搜索工具。
最早現代意義上的搜索引擎出現於1994年7月。當時Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創建了大家現在熟知的Lycos。同年4月，斯坦福(Stanford)大學的兩名博士生，David Filo和美籍華人楊致遠(Gerry Yang)共同創辦了超級目錄索引Yahoo，並成功地使搜索引擎的概念深入人心。從此搜索引擎進入了高速發展時期。目前，互聯網上有名有姓的搜索引擎已達數百家，其檢索的信息量也與從前不可同日而語。比如最近風頭正勁的Google，其數據庫中存放的網頁已達30億之巨!
隨著互聯網規模的急劇膨脹，一家搜索引擎光靠自己單打獨斗已無法適應目前的市場狀況，因此現在搜索引擎之間開始出現了分工協作，並有了專業的搜索引擎技術和搜索數據庫服務提供商。象國外的Inktomi(已被Yahoo收購)，它本身並不是直接面向用戶的搜索引擎，但向包括Overture(原GoTo，已被Yahoo收購)、LookSmart、MSN、HotBot等在內的其他搜索引擎提供全文網頁搜索服務。國內的百度(百度已於2001年9月開始提供公共搜索服務)也屬於這一類，搜狐和新浪用的就是它的技術(搜狐二級網頁搜索現已改為中搜的引擎，而新浪則已轉用Google的搜索結果。)。因此從這個意義上說，它們是搜索引擎的搜索引擎。
Excite 的歷史可以上溯到1993年2月，6個Stanford(斯坦福)大學生的想法是分析字詞關系，以對互聯網上的大量信息作更有效的檢索。到1993年中，這已是一個完全投資項目Architext，他們還發布了一個供webmasters在自己網站上使用的搜索軟件版本，後來被叫做Excite for Web Servers。(注：Excite後來曾以概念搜索聞名，2002年5月，被Infospace收購的Excite停止自己的搜索引擎，改用元搜索引擎 Dogpile 。目前Excite隸屬於Ask Jeeves公司。)
1994年1月，第一個既可搜索又可浏覽的分類目錄EINet Galaxy (Tradewave Galaxy)上線。除了網站搜索，它還支持Gopher和Telnet搜索。
搜索引擎發展簡史之英文搜索引擎
Yahoo搜索 www.yahoo.com
1994年4月，Stanford University的兩名博士生，美籍華人 Jerry Yang (楊致遠)和David Filo共同創辦了Yahoo (Jerry Yang Alerts a Usenet group to the Yahoo Database ，1996年的Yahoo )。隨著訪問量和收錄鏈接數的增長，Yahoo目錄開始支持簡單的數據庫搜索。因為Yahoo!的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是一個可搜索的目錄。Wanderer只抓取URL，但URL信息含量太小，很多信息難以單靠URL說清楚，搜索效率很低。Yahoo!中收錄的網站，因為都附有簡介信息，所以搜索效率明顯提高。(注：Yahoo以後陸續使用Altavista、Inktomi、Google提供搜索引擎服務;2002年10月9日，Yahoo放棄自己的網站目錄默認搜索，改為默認Google的搜索結果，成為一個真正的搜索引擎。並於2002年12月23日收購inktomi，於2003年7月14日收購包括Fast和Altavista在內的Overture。)
1994年初，Washington大學CS學生 Brian Pinkerton 開始了他的小項目 WebCrawler (Brian Pinkerton Announces the Availability of Webcrawler )。1994年4月20日，WebCrawler正式亮相時僅包含來自6000個服務器的內容。WebCrawler是互聯網上第一個支持搜索文件全部文字的全文搜索引擎，在它之前，用戶只能通過URL和摘要搜索，摘要一般來自人工評論或程序自動取正文的前100個字。後來webcrawler陸續被AOL和Excite收購，現在和excite一樣改用元搜索引擎Dogpile) 。
Google搜索 www.google.com
1998年10月之前， Google 只是Stanford(斯坦福)大學的一個小項目 BackRub 。1995年博士生 Larry Page 開始學習搜索引擎設計，於1997年9月15日注冊了google.com的域名，1997年底，在 Sergey Brin 和 Scott Hassan、Alan Steremberg 的共同參與下，BachRub開始提供 Demo 。1999年2月，Google完成了從 Alpha 版到 Beta版的蛻變。Google公司則把1998年9月27日認作自己的生日。
Google在 Pagerank 、動態摘要、網頁快照、DailyRefresh、多文檔格式支持、地圖股票詞典尋人等集成搜索、多語言支持、用戶界面等功能上的革新，象Altavista一樣，再一次永遠改變了搜索引擎的定義。
在2000年中以前，Google雖然以搜索准確性備受贊譽，但因為數據庫不如其它搜索引擎大，缺乏高級搜索語法，所以推廣並不快。直到2000年中數據庫升級後，又借被Yahoo選作搜索引擎的東風，才一飛沖天。Google自2000年開始提供中文搜索服務。
(注：2004年8月份Google上市，到2004年底，Google股價達到了185美元，贏利額增加222倍。2005年2月3日，在Google公布了高於預期的第四季度財報後，以股票市場價值為標准，它已取代eBay成為了市值第一的網絡公司。目前Google的市值高達560億美元，已接近美國媒體巨頭迪斯尼的市值，甚至超過了通用汽車及美國鋁公司(Alcoa)市值的總和。2月2日Google在納斯達克的股價一度升高到每股216.80美元，再次刷新了它的股價記錄，隨後以205.96美元收盤，當天整體上漲了7.3%。)
MSN搜索 search.msn.com
微軟公司一直以來通過雅虎公司旗下Inktomi支持其搜索服務,但早在2003年，看到Google引領搜索廣告並從中獲得大量利潤之時，位於華盛頓雷蒙德的微軟公司就有了創建自己搜索引擎的決定。憑借微軟雄厚的軟件技術實力，2004年11月微軟推出MSN搜索測試版，經過三個月的初步測試，2005年2月1日微軟終於推出了MSN搜索正式版。目前MSN搜索提供Web、News、Images、Music、Desktop.BETA、Encarta等的搜索，比較有特色的是可以直接進入Encarta(微軟的百科全書)進行答案搜索。雖然微軟如此之晚才進入搜索領域，但憑借它的技術、市場、資金等優勢，勢必將對現今的搜索格局產生重大影響。
搜索引擎發展簡史之中文搜索引擎
百度搜索引擎 www.baidu.com
2000年1月，兩位北大校友超鏈分析專利發明人、前Infoseek資深工程師李彥宏與好友徐勇(加州伯克利分校博士後)在北京中關村創立了百度(Baidu)公司。2001年8月發布Baidu.com搜索引擎Beta版(此前Baidu只為其它門戶網站搜狐新浪Tom等提供搜索引擎)，2001年10月22日正式發布Baidu搜索引擎，專注於中文搜索。Baidu搜索引擎的其它特色包括：百度快照、網頁預覽/預覽全部網頁、相關搜索詞、錯別字糾正提示、mp3搜索、Flash搜索。2002年3月閃電計劃(Blitzen Project)開始後，技術升級明顯加快。
中國搜索 www.zhongsou.com
中國搜索(原慧聰搜索)2002年正式進入中文搜索引擎市場,2003年8月24日 慧聰搜索(現中國搜索)正式推出第三代智能中文搜索引擎.2003年12月23日 慧聰搜索正式獨立運作，成立中國搜索，陳沛出任CEO,同時推出中國搜索新聞中心。2004年2月26日 中國互聯網新聞中心、IDG集團注資中國搜索，成立合資公司。並提出”個人門戶時代”的創新理念。2004年2月26日 中搜桌面搜索引擎網絡豬1.0版公開發布。實現主要功能：桌面搜索、個性化定制新聞專題、行業資訊、對接即時通(IMU)、自寫短信功能、智能搜索(按照用戶天氣預報設置的城市，在目標城市范圍內進行搜索)，目前最新版本是3.0beta。中搜目前提供網頁、新聞、行業、網站、Mp3、圖片、購物、地圖等搜索，其中行業搜索較有特色。
搜狗搜索 www.sogou.com
搜狗是搜狐公司於2004年8月3日推出的完全自主技術開發的全球首個第三代互動式中文搜索引擎，是一個具有獨立域名的專業搜索網站–“搜狗”(www.sogou.com)。以一種人工智能的新算法，分析和理解用戶可能的查詢意圖，給予多個主題的“搜索提示”.
SOSO搜索 www.soso.com
在用戶查詢和搜索引擎返回結果的人機交互過程中，引導用戶更快速准確定位自己所關注的內容，幫助用戶快速找到相關搜索結果，並可在用戶搜索沖浪時，給與用戶未曾意識到的主題提示。