中文分詞技術是搜索引擎對於用戶提交查詢的關鍵詞,搜索引擎用中文分詞把詞按照一定的規格,將一個長尾詞分割成幾個部分,從而概括一段話的主要內容,讓用戶能更快速度的找到想要的內容。
搜索引擎最常用的幾種分詞方法有三種:
一、字符串匹配的方法;(字符串匹配的分詞一般為3種:1.正向最大匹配法;2.逆向最大匹配法;3.最少切分)
二、理解分詞方法;
三、統計分詞方法。
字符串匹配方法:在百度中搜索“我喜歡玩寵物連連看”而在百度排名第一位的是以標題和搜索的長尾詞相符合,說明在網站條件相當的情況下,先顯示標題匹配的網頁。這樣文章標題中的長尾是在排名中非常重要的。而在百度第二頁“我喜歡玩寵物連連看”用百度快照查看,很顯然長尾詞已經被分成“我喜歡,玩,寵物連連看”而在外後已經被分成:“我,喜歡玩,寵物,連連看”,這種匹配方法是最少切分方式。
理解分詞方法:當輸入的字符串中包含≤3個中文字符的話百度分詞就會直接接到數據庫索引詞匯;而當字符串長度》4個中文字符的時候,百度中分詞會會把這個詞分成若干個字符。如:百度搜索“電動車”。
統計分詞方法:相鄰的字同時出現的次數越多,中文分詞就會可能把出現相鄰的字當成你一個詞。例如在百度中輸入一個字符“網”而在下面百度也把“網站”標紅了,這樣可以看得出“網”與“站”這兩個字符相鄰出現的次數非常多,統計分詞已經把“網站”納入了詞庫。
對於百度中文分詞的理解:
中文分詞中強調一點:“按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配”;長尾詞在文章中的間距也是決定文章排名的因素。如:“我喜歡玩寵物連連看”在百度第十三頁的時候已經被分詞成“我,喜歡,玩,寵物,連連,看”
全字匹配得到的詞的權重會高於分開的詞的權重。
根據自己的觀察現在百度大部分都是使用的是正向匹配。
百度分詞對於一句話分詞之後,還會去掉句子中的沒有意義的詞語。