搜索引擎在爬行網(wǎng)站時，一般分為兩種策略：深度抓取和廣度抓取。這兩種抓取應(yīng)該聽過的人特別多，那是否還有第三種呢?其實吸引蜘蛛也算一種抓取策略，因為它改變了蜘蛛的爬行規(guī)律。今天就來主要解釋一下三種抓取的方式。

深度抓取，比如容易理解，當(dāng)搜索引擎蜘蛛到了一個網(wǎng)站時。它會根據(jù)網(wǎng)站中第一個鏈接，之后順著第一個鏈接一路爬行，直至抓取完成后。這時，蜘蛛會返回搜索引擎抓取的第一個鏈接，接著該鏈接，抓取網(wǎng)站第二個鏈接，之后順著第二個鏈接一路爬行，直至抓取完成。以此反復(fù)抓取，完成深度抓取。

而廣度抓取，則是搜索引擎在發(fā)現(xiàn)一個頁面時，首先，將該頁面第一層所有鏈接均索引到搜索引擎數(shù)據(jù)庫中。然后，將第二部分鏈接索引，之后為第三個頁面，以此反復(fù)。

當(dāng)然，無論深度或廣度抓取，搜索引擎都不會以此種方式將整個網(wǎng)站所有的頁面鏈接全部抓取，除非網(wǎng)站鏈接極少。那一些鏈接藏的比較深，或者頁面層級較深，這些頁面如何讓搜索引擎抓取呢?那就要說說第三種抓取策略，吸引蜘蛛。

在通過外鏈或者友情鏈接等規(guī)劃時，在其它網(wǎng)站中存在自身網(wǎng)站鏈接，吸引蜘蛛通過外鏈或友情鏈接中的地址爬行網(wǎng)站中，為一些隱藏較深的頁面提供索引。

當(dāng)然，大概的搜索引擎抓取策略分為以上三種，還有一些其余情況，比如，頁面點擊率，或者頁面更新度等情況，同樣會影響到抓取情況。搜索引擎抓取策略也不會一成不變，我們要做的，就是做好網(wǎng)站自己的優(yōu)化，盡量使用樹狀型物理結(jié)構(gòu)，保證網(wǎng)站的抓取索引。

文章來源：耐特康賽(http://www.netconcepts.cn/)，版權(quán)歸原作者所有，特此聲明。

文章名稱：淺談搜索引擎抓取原理
轉(zhuǎn)載注明：http://jinyejixie.com/news3/226453.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計、做網(wǎng)站、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)