通用爬蟲架構(gòu)

上述是一個(gè)通用爬蟲的整體流程，如果從更加宏觀的角度考慮，處于動(dòng)態(tài)抓取過(guò)程中的爬蟲和互聯(lián)網(wǎng)所有網(wǎng)頁(yè)之間的關(guān)系，可以概括為以下 5 個(gè)部分：

已下載網(wǎng)頁(yè)結(jié)合：爬蟲已經(jīng)從互聯(lián)網(wǎng)下載到本地進(jìn)行索引的網(wǎng)頁(yè)集合。

已過(guò)期網(wǎng)頁(yè)結(jié)合：由于網(wǎng)頁(yè)數(shù)量龐大，爬蟲完整抓取一輪需要較長(zhǎng)時(shí)間，在抓取過(guò)程中，很多已下載的網(wǎng)頁(yè)可能已經(jīng)更新了，從而導(dǎo)致過(guò)期。之所以如此，是因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁(yè)處于不斷的動(dòng)態(tài)變化過(guò)程中，所以易產(chǎn)生本地網(wǎng)頁(yè)內(nèi)容和真實(shí)互聯(lián)網(wǎng)不一致的情況。

待下載網(wǎng)頁(yè)集合：處于待抓取URL隊(duì)列中的網(wǎng)頁(yè)，這些網(wǎng)頁(yè)即將被爬蟲下載。

可知網(wǎng)頁(yè)集合：這些網(wǎng)頁(yè)還沒(méi)有被爬蟲下載，也沒(méi)有出現(xiàn)在待抓取URL隊(duì)列中，通過(guò)已經(jīng)抓取的網(wǎng)頁(yè)或者在待抓取URL隊(duì)列中的網(wǎng)頁(yè)，總是能夠通過(guò)鏈接關(guān)系發(fā)現(xiàn)它們，稍晚時(shí)候會(huì)被爬蟲抓取并索引。

未知網(wǎng)頁(yè)集合：有些網(wǎng)頁(yè)對(duì)于爬蟲是無(wú)法抓取到的，這部分網(wǎng)頁(yè)構(gòu)成了未知網(wǎng)頁(yè)結(jié)合。事實(shí)上，這部分網(wǎng)頁(yè)所占的比例很高。

互聯(lián)網(wǎng)頁(yè)面劃分

從理解爬蟲的角度看，對(duì)互聯(lián)網(wǎng)網(wǎng)頁(yè)給出如上劃分有助于深入理解搜索引擎爬蟲所面臨的主要任務(wù)和挑戰(zhàn)。絕大多數(shù)爬蟲系統(tǒng)遵循上文的流程，但是并非所有的爬蟲系統(tǒng)都如此一致。根據(jù)具體應(yīng)用的不同，爬蟲系統(tǒng)在許多方面存在差異，大體而已，可以將爬蟲系統(tǒng)分為如下 3 種類型：

1.批量型爬蟲：批量型爬蟲有比較明確的抓取范圍和目標(biāo)，當(dāng)爬蟲達(dá)到這個(gè)設(shè)定的目標(biāo)后，即停止抓取過(guò)程。

至于具體目標(biāo)可能各異，也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁(yè)即可，也許是設(shè)定抓取的時(shí)間等，各不一樣。

2.增量型爬蟲：增量型爬蟲與批量型爬蟲不同，會(huì)保持持續(xù)不斷的抓取，對(duì)于抓取到的網(wǎng)頁(yè)，要定期更新。

因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁(yè)處于不斷變化中，新增網(wǎng)頁(yè)、網(wǎng)頁(yè)被刪除或者網(wǎng)頁(yè)內(nèi)容更改都很常見(jiàn)，而增量型爬蟲需要及時(shí)反映這種變化，所以處于持續(xù)不斷的抓取過(guò)程中，不是在抓取新網(wǎng)頁(yè)，就是在更新已有網(wǎng)頁(yè)。通用的商業(yè)搜索引擎爬蟲基本都屬此類。

3.垂直型爬蟲：垂直型爬蟲關(guān)注特定主題內(nèi)容或者屬于特定行業(yè)的網(wǎng)頁(yè)，比如對(duì)于健康網(wǎng)站來(lái)說(shuō)，只需要從互聯(lián)網(wǎng)頁(yè)面里找到與健康相關(guān)的頁(yè)面內(nèi)容即可，其他行業(yè)的內(nèi)容不在考慮范圍。

垂直型爬蟲一個(gè)較大的特點(diǎn)和難點(diǎn)就是：如何識(shí)別網(wǎng)頁(yè)內(nèi)容是否屬于指定行業(yè)或主題。

從節(jié)省系統(tǒng)資源的角度來(lái)講，不可能把所有互聯(lián)網(wǎng)頁(yè)面下載之后在進(jìn)行篩選，這樣會(huì)造成資源過(guò)度浪費(fèi)，往往需要爬蟲在抓取階段就能夠動(dòng)態(tài)識(shí)別某個(gè)網(wǎng)址是否與主題相關(guān)，并盡量不去抓取無(wú)關(guān)頁(yè)面，以達(dá)到節(jié)省資源的目的。垂直搜索網(wǎng)站或者垂直行業(yè)網(wǎng)站往往需要此種類型的爬蟲。

當(dāng)前題目：網(wǎng)站seo優(yōu)化了解入門爬蟲技術(shù)原理二
當(dāng)前鏈接：http://jinyejixie.com/news2/277202.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)