在一般的搜索引擎架構中，網頁去重一般在Spider抓取部分就存在了，“去重”步驟在整個搜索引擎架構中實施得越早，越可以節(jié)約后續(xù)處理系統(tǒng)的資源使用。搜索引擎一般會對已經抓取過的重復頁面進行歸類處理，比如，判斷某個站點是否包含大量的重復頁面，或者該站點是否完全采集其他站點的內容等，以決定以后對該站點的抓取情況或是否直接屏蔽抓取。
去重的工作一般會在分詞之后和索引之前進行（也有可能在分詞之前），搜索引擎會在頁面已經分出的關鍵詞中，提取部分具有代表性的關鍵詞，然后計算這些關鍵詞的“指紋”。每一個網頁都會有個這樣的特征指紋，當新抓取的網頁的關鍵詞指紋和已索引網頁的關鍵詞指紋有重合時，那么該新網頁就可能會被搜索引擎視為重復內容而放棄索引。
實際工作中的搜索引擎，不僅僅使用分詞步驟所分出的有意義的關鍵詞，還會使用連續(xù)切割的方式提取關鍵詞，并進行指紋計算。連續(xù)切割的方式提取關鍵詞，并進行指紋計算，連切割就是以單個字向后移動的方式進行切割就是單個字向后移動的方式進行切詞，比如，“百度開始打擊買賣鏈接”會被切成“百度開”“度開始”“開始打”“始打擊”“打擊買”“擊買賣”“買賣鏈”“賣鏈接”。然后從這些詞中提取部分關鍵詞進行指紋計算，參與是否重復內容的對比。這只是搜索引擎識別重復網頁的基本算法，還有很多其他對付重復網頁的算法。
因此網絡上流行的大部分偽原創(chuàng)工具，不是不能欺騙搜索引擎，就是把內容做的鬼都讀不通，所以理論上使用普通偽原創(chuàng)工具不能得到搜索引擎的正常收錄和排名。但是由于百度并不是對所有的重復頁面都直接拋棄不索引，而是會根據(jù)重復網頁所在網站的權重適當放寬索引標準，這樣使得部分作弊者有機可乘，利用網站的高權重，大量采集其他站點的內容獲取搜索流量。不過自2012年6月份以來，百度搜索多次升級算法，對采集重復信息、垃圾頁面進行了多次重復級的打擊。所以SEO在面對網站內容時，不應該再以偽原創(chuàng)的角度去建設，而需要以對用戶有用的角度去建設，雖然后者的內容不一定全部是原創(chuàng)，一般如果網站權重沒有大問題，都會得到健康的發(fā)展。關于原創(chuàng)問題，本書后續(xù)會在第12章進行詳細討論。
另外，不僅僅是搜索引擎需要“網頁去重”，自己做網站也需要對站內頁面進行去重。比如分類信息、B2B平臺等UGC類的網站，如果不加以限制，用戶所發(fā)布的信息必然會有大量的重復，這樣不僅在SEO方面表現(xiàn)不好，站內用戶體驗也會降低很多。有如SEO人員在設計流量產品常見的一般為以“聚合”為基礎的索引頁、專題頁或目錄頁，“聚合”就必須有核心詞，不加以過濾，海量核心詞所擴展出來的頁面就可能會有大量重復，從而導致該產品效果不佳，甚至會因此被搜索引擎降權。
“去重”算法的大概原理一般就是如上所述，有興趣的朋友可以了解一下I-Match、Shingle、SimHash及余弦去重具體算法。搜索引擎在做“網頁去重”工作之前首先要分析網頁，內容周圍的“噪聲”對去重結果多少會有影響，做這部分工作時只對內容部分操作就可以了，相對來說會簡單很多，并且可以很有效地輔助產出高質量的“SEO產品”。作為SEO人員只要了解實現(xiàn)原理就可以了，具體在產品中的應用，需要技術人員來實現(xiàn)。此外還涉及效率、資源需求等問題，并且根據(jù)實際情況“去重”工作也可以在多個環(huán)節(jié)進行（比如對核心詞的分詞環(huán)節(jié)），SEO人員只要稍微了解一些原理，能夠為技術人員建議幾個方向就很不錯了（技術人員并不是萬能的，也有不熟悉、不擅長的領域，在特定時刻也需要別人提供思路）。如果SEO人員能在這些方面和技術人員進行深入的交流，技術人員也會對SEO另眼相看，至少不會再認為“SEO人員就只會修改標題、改鏈接、改文字之類‘無聊’的需求”了。
總結：在次感謝痞子瑞的怎么好的書本，妮子在SEO思維中，找到新的知識，去重，指紋原理。希望兄弟姐妹們可以去看看這本書，今天給大家分享一部分吧！往后的日子，看到好的知識點，會繼續(xù)和大家分享了。

網站名稱：關于百度去重原理的最新定義
網站路徑：http://jinyejixie.com/news31/122331.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供App設計、定制開發(fā)、網站維護、小程序開發(fā)、網站排名、搜索引擎優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)