搜索引擎蜘蛛抓取的原始頁面,并不能直接用于查詢排名處理。搜索引擎數據庫中的頁面數量都在萬億級,用戶輸入搜索詞后,如果靠排名程序實時對這些頁面進行相關性分析,則計算量太大,不可能在一兩秒內返回排名結果。因此,必須對抓取的頁面進行預處理，也稱為“索引”。下面，小編將詳細為大家介紹百度排名中這些預處理都有哪些步驟：

A.提取文字

現在的搜索引擎還是以文字內容為基礎。在蜘蛛程序抓取的頁面HTML代碼中,除了用戶在瀏覽器上可以看到的文字外,還包含大量的HTML格式標簽、JavaScript程序等無法用于排名的內容。搜索引擎預處理首先要做的就是從HTML文件中去除標簽、程序,提取可以用于排名處理的網頁文字內容。

B.中文分詞

中文分詞是中文搜索引擎特有的步驟。在中文語句中,詞與詞之間沒有任何分隔符,一個句子中的所有字和詞都是連在一起的,所以搜索引擎首先必須分辨是哪幾個字組成了一個詞,以及哪些字本身就是一個詞。中文分詞方法有兩種,一種是基于詞典匹配,另一種是基于統(tǒng)計。

基于詞典匹配的方法是指將待分析的一段中文與一個事先準備好的詞典中的詞條進行匹配,在待分析中文字串中掃描到詞典中已有的詞條則匹配成功,或者說切分出一個單詞?；诮y(tǒng)計的分詞方法是指分析大量文字樣本,統(tǒng)計出字與字相鄰的情況出現的概率,幾個字相鄰的情況出現得越多,它們就越可能是一個詞，基于統(tǒng)計的方法的優(yōu)勢是對新出現的詞反應更快,也有利于消除歧義。在實際使用中,分詞系統(tǒng)是混合使用兩種方法的。搜索引擎對頁面的分詞取決于詞庫的規(guī)模、準確性和分詞算法的好壞,而不取決于頁面本身,所以SEOer對分詞能做的工作很少。 SEOer唯一能做的是在頁面上用某種形式提示搜索引擎,某幾個字應該被當成一個詞處理,尤其是可能產生歧義的時候,如在頁面標題、H標簽及黑體中出現的關鍵詞。

C.去除停止詞

無論是英文還是中文,頁面內容中都會有一些出現頻率很高卻對內容沒有任何影響的詞。例如,“的”、“地”、“得”之類的助詞,“啊”、“哈”、“呀”之類的感嘆詞,“從而”、“以”、“卻”之類的副詞或介詞。英文中的常見停止詞有the、a、an、to、of等。這些詞被稱為停止詞,因為它們對頁面的主要意思沒有影響。搜索引擎在索引頁面之前會去掉這些停止詞,使索引數據的主題更為突出,減少無謂的計算量。

D.消除噪聲

噪聲并不是指網頁中嘈雜的聲音,而是指頁面上對頁面主題沒有貢獻的內容,如版權聲明文字、導航條、廣告等,這些內容對頁面主題只會起到分散作用。因此搜索引擎需要識別并消除這些噪聲,在計算排名時避免使用噪聲內容。消除噪聲的基本方法是根據HTML標簽對頁面分塊,區(qū)分頁頭、導航條、正文、頁腳、廣告等區(qū)域。在網站中多次重復出現的區(qū)塊往往屬于噪聲。消除頁面噪聲后,剩下的才是頁面主體內容。

E.去除重復內容

同一篇文章經常會重復出現在不同網站及同一網站的不同網址,搜索引擎并不喜歡這種重復的內容。用戶搜索時,如果在前兩頁看到的都是來自不同網站的同一篇文章,體驗就比較差了。搜索引擎希望只返回相同文章中的一篇,所以在進行索引前還需要識別和刪除重復內容,這個過程就稱為“去重”。

了解了搜索引擎的去重算法之后, SEOer就應該知道,簡單地增加“的”、“地”、“得”或者調換段落順序這種所謂“偽原創(chuàng)”行為逃不過搜索引擎的去重算法,因為這樣的操作無法改變文章的特征關鍵詞,而且搜索引擎的去重算法很可能不止用在頁面級別,而是進行到段落級別,所以混合不同文章的內容、交叉調換段落順序也不能使轉載和抄襲變成原創(chuàng)。

F.正向索引

經過文字提取、分詞、消噪、去重后,搜索引擎得到的就是獨特的、能反映頁面主體內容的、以詞為單位的內容。接下來搜索引擎索引程序就可以提取關鍵詞,按照分詞程序劃分好的詞把頁面轉換為由關鍵詞組成的集合,同時記錄每一個關鍵詞在頁面上的出現頻率、出現次數、格式(如標題標簽、黑體、H標簽、錨文字等)、位置(如頁面第1段文字等)。這樣,每一個頁面都可以記錄為一串關鍵詞的集合，其中每個關鍵詞的詞頻、格式、位置等權重信息也都記錄在案。

G.倒排索引

正向索引還不能直接用于排名。假設用戶搜索關鍵詞“2”,如果只存在正向索引,那么排名程序需要掃描所有索引庫中的文件,找出包含關鍵詞“2”的文件,再進行相關性計算。這樣的計算量無法滿足實時返回排名結果的要求,因此需要搜索引擎將正向索引數據庫重新構造成倒排索引,把文件到關鍵詞的映射轉換為關鍵詞到文件的映射。

H.鏈接關系計算

現在所有的主流搜索引擎排名因素中都包含網頁之間的鏈接流動信息。搜索引擎在抓取頁面內容后,必須事前計算頁面上有哪些鏈接指向哪些其他頁面,每個頁面有哪些導入鏈接,鏈接使用了哪些錨文字。這些復雜的鏈接指向關系形成了網站和頁面的鏈接權重。由于頁面和鏈接數量巨大,網上的鏈接關系又在隨時更新,因此鏈接關系及PR的計算要耗費很長時間。

I.特殊文件處理

除了HTML文件外,搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型,如PDF、Word、WPS、XLS、PPT、TXT等。我們在搜索結果中也經常會看到這些文件類型。但是,目前的搜索引擎還不能處理圖片、視頻、 Flash這類非文字內容,也不能執(zhí)行腳本和程序。雖然搜索引擎在識別圖片及從Flash中提取文字內容方面有些進步,但距離直接讀取圖片、視頻、Flash內容返回結果的目標還差得很遠。目前,搜索引擎對圖片、視頻內容的排名還依據與之相關的文字內容。

以上九點就是百度排名時搜索引擎蜘蛛抓取頁面后的預處理過程，本文主要內容來源于網絡，由小編整理發(fā)布，如有侵權請聯系本網站刪除，謝謝!