【搜索引擎原理】搜索引擎預(yù)處理工作原理

通過(guò)上邊編者對(duì)搜索引擎預(yù)處理概念的一個(gè)簡(jiǎn)單的介紹，想必各位讀者有一定的了解，那么在眾多預(yù)處理的流程中具體究竟是怎樣的一個(gè)工作流程呢？下面就讓我們一起看一下搜索引擎在預(yù)處理中的各個(gè)工作流程！

1.關(guān)鍵詞的提?。核阉饕婺軌蛲耆R(shí)別的主要還是以文字內(nèi)容為主的網(wǎng)絡(luò)資源。搜索引擎蜘蛛在爬取一個(gè)頁(yè)面的同時(shí)也把大量的HTML代碼抓取下來(lái)，如keywords,description，title，H，css,div標(biāo)簽等，而它的主要工作還是將HTML標(biāo)簽、程序等處理，然后提取用于排名計(jì)算的文字信息內(nèi)容。

2.刪除重復(fù)無(wú)用詞：同一個(gè)詞在一個(gè)網(wǎng)頁(yè)中出現(xiàn)很多次，如“得”、“我”、“的”、“你”、“地”、“啊”、.“呀”、“卻”、“再”、“從而”等這類的無(wú)用助詞，出現(xiàn)的頻率雖然很高，但是一旦反復(fù)出現(xiàn)就沒(méi)太大價(jià)值了，一般這類詞就歸結(jié)為停用詞。這類詞也需要去除掉。

3.中文分詞技術(shù)：分詞是中文搜索引擎獨(dú)有的技術(shù)支持。中文信息和英文信息的差別在于:英文單詞與單詞之間用的是空格分隔的，這對(duì)中文就行不通了，搜索引擎必須將整個(gè)句子切割成小單元詞，如“我是中國(guó)人”拆分出來(lái)的形態(tài)是“我”、“是”、“中國(guó)”、“人”。分詞技術(shù)的效率直接影響到整個(gè)系統(tǒng)的效率。

分詞的方法基本上有兩種:基于字符串匹配的分詞方法和基于統(tǒng)計(jì)的分詞方法。

1)基于字符串匹配的分詞方法

按匹配方向的不同，可分為正向匹配、逆向匹配和最少切詞?？蓪⑦@三種方法混合起來(lái)使用，即正向最大匹配、逆向最大匹配、正向最小匹配、逆向最小匹配。

正向最大匹配:假設(shè)字典中最長(zhǎng)的詞語(yǔ)字?jǐn)?shù)為m，先根據(jù)漢語(yǔ)標(biāo)點(diǎn)符號(hào)及特征詞把漢語(yǔ)句子切分為短語(yǔ)，然后去取短語(yǔ)的前m個(gè)字，在字庫(kù)里面查找是否存在這個(gè)詞語(yǔ)，如果存在，短語(yǔ)就去掉這個(gè)詞;如果不存在就去掉這m個(gè)字的最后一個(gè)字，接著檢查剩下的詞是否是單字，若是則輸出此字并將此字從短語(yǔ)中去掉，若不是則繼續(xù)判斷字庫(kù)中是否存在這個(gè)詞，如此反復(fù)循環(huán)，直到輸出一個(gè)詞，此后繼續(xù)取剩余短語(yǔ)的前m個(gè)字反復(fù)循環(huán)。這樣就可以將一個(gè)短語(yǔ)分成詞語(yǔ)的組合了。

以“我是一個(gè)好人”為例，假設(shè)字典中最長(zhǎng)詞語(yǔ)字?jǐn)?shù)為3，正向最大匹配順序?yàn)?

(1)取出短語(yǔ)“我是中”，檢查“我是中”是否在字典中存在或是一個(gè)單字，處理方式是去掉最后面的“中”字;

(2)檢查短語(yǔ)“我是”是否在字典中存在或是一個(gè)單字，處理方式是去掉“是”字;

(3)檢查“我”字是否在字典中存在或是一個(gè)單字，“我”是一個(gè)單字，將“我”字輸出;

(4)繼續(xù)取出短語(yǔ)“是中國(guó)”，檢查“是中國(guó)”是否在字典中存在或是一個(gè)單字，處理方式是去掉最后面的“國(guó)個(gè)”字;

(5)檢查短語(yǔ)“是中”是否在字典中存在或是一個(gè)單字，處理方式是去掉“中”字;

(6)檢查“是”字是否在字典中存在或是一個(gè)單字，“是”是一個(gè)單字，將“是”字輸出;

(7)取出短語(yǔ)“中國(guó)人”，檢查“中國(guó)人”是否在字典中存在或是一個(gè)單字，處理方式是去掉最后面的“好”字;

(8)檢查短語(yǔ)“中國(guó)”，發(fā)現(xiàn)是字典中的一個(gè)詞，直接輸出;

(9)檢查短語(yǔ)“國(guó)人”，發(fā)現(xiàn)是字典中的一個(gè)詞，直接輸出;

(10)最后輸出結(jié)果為:我、是、中國(guó)、人。

逆向最大匹配:以句子結(jié)尾處進(jìn)行分詞的方法。逆向最大匹配技術(shù)最大的一個(gè)作用是用來(lái)消歧。如“富營(yíng)銷線下聚會(huì)在下城子鎮(zhèn)舉行”按照正向最大匹配結(jié)果為:富/營(yíng)銷/線/下/聚會(huì)/在/下/城子鎮(zhèn)/舉行，很顯然這當(dāng)中差生了歧義。下城子鎮(zhèn)是一個(gè)地名，沒(méi)有被正確地切分。采用逆向最大匹配的技術(shù)可以修正這個(gè)錯(cuò)誤。例如設(shè)定一個(gè)分詞節(jié)點(diǎn)大小為7，那么“在下城子鎮(zhèn)舉行”中很顯然“舉行”被分出來(lái)了，最后剩下“聚會(huì)在下城子鎮(zhèn)”，這樣一來(lái)歧義就被消除了。

正向最小匹配/逆向最小匹配:一般很少使用到，實(shí)際使用中逆向匹配的精準(zhǔn)度要高于正向匹配度。

2)基于統(tǒng)計(jì)分詞方法

直接調(diào)用分詞詞典中的若干詞進(jìn)行匹配，同時(shí)也使用統(tǒng)計(jì)技術(shù)來(lái)識(shí)別一些新的詞語(yǔ)，將所有的統(tǒng)計(jì)結(jié)果匹配起來(lái)發(fā)揮切詞的最高效率。

分詞詞典是搜索引擎判斷詞語(yǔ)的依據(jù)，基本上收錄了漢語(yǔ)詞典當(dāng)中所有的詞語(yǔ)。如我們?cè)谒阉饕嬷休斎?ldquo;我要減肥了”，“減肥”兩字就會(huì)被判定為一個(gè)詞語(yǔ)?，F(xiàn)在網(wǎng)絡(luò)上經(jīng)常會(huì)出現(xiàn)一些新造的網(wǎng)絡(luò)流行詞語(yǔ)如“神馬”、“犀利哥”等，這樣的詞也都會(huì)慢慢地被收錄。分詞詞典只有不斷更新才能滿足我們?nèi)粘Ｋ阉髋袛嗟男枨蟆?/div>

4.消除噪聲：網(wǎng)頁(yè)上有各種形形色色的廣告文字、廣告圖片、登錄框、版權(quán)信息等，為了某些目的不得不放上去，這些對(duì)搜索引擎來(lái)說(shuō)不是有用的東西，可以直接去掉。

5.分析網(wǎng)頁(yè)建立倒排文件：正向索引:經(jīng)過(guò)前面幾步的工作之后就開(kāi)始提取關(guān)鍵詞了，把頁(yè)面轉(zhuǎn)換為一個(gè)關(guān)鍵詞組合，同時(shí)記錄每一個(gè)關(guān)鍵詞在頁(yè)面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式、位置，這樣每一個(gè)頁(yè)面都可以記錄為一串關(guān)鍵詞組合，其中每個(gè)關(guān)鍵詞的詞頻、格式、位置等權(quán)重信息也都記錄在案，如圖1-10所示。

倒排索引:正向索引還不能直接用于排名。假如用戶搜索關(guān)鍵詞3，如果只用正向索引，排名程序需要掃描所有的索引中的文件，找出包含關(guān)鍵詞3的文件，再進(jìn)行相關(guān)計(jì)算。這樣一來(lái)計(jì)算無(wú)法實(shí)時(shí)返回排名結(jié)果。所以搜索引擎會(huì)將正向索引數(shù)據(jù)庫(kù)重新構(gòu)造為倒排索引，倒排索引以關(guān)鍵詞為索引，如圖1-11所示。

6.鏈接關(guān)系計(jì)算：鏈接關(guān)系計(jì)算是預(yù)處理中重要的一步。主流搜索引擎排名因素都包含網(wǎng)頁(yè)之間的鏈接流信息。事先必須計(jì)算出頁(yè)面上有哪些鏈接指向哪些其他頁(yè)面，每個(gè)頁(yè)面有哪些導(dǎo)入鏈接，鏈接使用了什么錨文本等種種的鏈接計(jì)算。GooglePR是這種鏈接關(guān)系計(jì)算的重要代表之一。

7.特殊文件處理：可以抓取和索引以文字為基礎(chǔ)的多種文件類型。對(duì)flash、視頻、PPT,XLS,圖片等非文字內(nèi)容不能執(zhí)行腳本和程序。搜索引擎目前還無(wú)法獲取flash文件和圖片中的文字信息。圖片一般推薦使用ALT標(biāo)簽圖片文字信息。

文章標(biāo)題：【搜索引擎原理】搜索引擎預(yù)處理工作原理
本文鏈接：http://jinyejixie.com/article22/dghiijc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、Google、、響應(yīng)式網(wǎng)站、定制開(kāi)發(fā)、手機(jī)網(wǎng)站建設(shè)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

建站公司知識(shí)

分類信息網(wǎng)

成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

【搜索引擎原理】搜索引擎預(yù)處理工作原理