成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

網(wǎng)站seo優(yōu)化:了解入門爬蟲技術(shù)原理二

2020-11-16    分類: 網(wǎng)站建設(shè)

如果從更加宏觀的角度考慮,處于動(dòng)態(tài)抓取過程中的爬蟲和互聯(lián)網(wǎng)所有網(wǎng)頁之間的關(guān)系,可以概括為以下 5 個(gè)部分:

網(wǎng)站優(yōu)化公司,seo優(yōu)化

已下載網(wǎng)頁結(jié)合:爬蟲已經(jīng)從互聯(lián)網(wǎng)下載到本地進(jìn)行索引的網(wǎng)頁集合。
已過期網(wǎng)頁結(jié)合:由于網(wǎng)頁數(shù)量龐大,爬蟲完整抓取一輪需要較長時(shí)間,在抓取過程中,很多已下載的網(wǎng)頁可能已經(jīng)更新了,從而導(dǎo)致過期。之所以如此,是因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁處于不斷的動(dòng)態(tài)變化過程中,所以易產(chǎn)生本地網(wǎng)頁內(nèi)容和真實(shí)互聯(lián)網(wǎng)不一致的情況。
待下載網(wǎng)頁集合:處于待抓取URL隊(duì)列中的網(wǎng)頁,這些網(wǎng)頁即將被爬蟲下載。
可知網(wǎng)頁集合:這些網(wǎng)頁還沒有被爬蟲下載,也沒有出現(xiàn)在待抓取URL隊(duì)列中,通過已經(jīng)抓取的網(wǎng)頁或者在待抓取URL隊(duì)列中的網(wǎng)頁,總是能夠通過鏈接關(guān)系發(fā)現(xiàn)它們,稍晚時(shí)候會(huì)被爬蟲抓取并索引。
未知網(wǎng)頁集合:有些網(wǎng)頁對(duì)于爬蟲是無法抓取到的,這部分網(wǎng)頁構(gòu)成了未知網(wǎng)頁結(jié)合。事實(shí)上,這部分網(wǎng)頁所占的比例很高。
互聯(lián)網(wǎng)頁面劃分
從理解爬蟲的角度看,對(duì)互聯(lián)網(wǎng)網(wǎng)頁給出如上劃分有助于深入理解搜索引擎爬蟲所面臨的主要任務(wù)和挑戰(zhàn)。絕大多數(shù)爬蟲系統(tǒng)遵循上文的流程,但是并非所有的爬蟲系統(tǒng)都如此一致。根據(jù)具體應(yīng)用的不同,爬蟲系統(tǒng)在許多方面存在差異,大體而已,可以將爬蟲系統(tǒng)分為如下 3 種類型:
1.批量型爬蟲:批量型爬蟲有比較明確的抓取范圍和目標(biāo),當(dāng)爬蟲達(dá)到這個(gè)設(shè)定的目標(biāo)后,即停止抓取過程。
至于具體目標(biāo)可能各異,也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁即可,也許是設(shè)定抓取的時(shí)間等,各不一樣。
2.增量型爬蟲:增量型爬蟲與批量型爬蟲不同,會(huì)保持持續(xù)不斷的抓取,對(duì)于抓取到的網(wǎng)頁,要定期更新。
因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁處于不斷變化中,新增網(wǎng)頁、網(wǎng)頁被刪除或者網(wǎng)頁內(nèi)容更改都很常見,而增量型爬蟲需要及時(shí)反映這種變化,所以處于持續(xù)不斷的抓取過程中,不是在抓取新網(wǎng)頁,就是在更新已有網(wǎng)頁。通用的商業(yè)搜索引擎爬蟲基本都屬此類。
3.垂直型爬蟲:垂直型爬蟲關(guān)注特定主題內(nèi)容或者屬于特定行業(yè)的網(wǎng)頁,比如對(duì)于健康網(wǎng)站來說,只需要從互聯(lián)網(wǎng)頁面里找到與健康相關(guān)的頁面內(nèi)容即可,其他行業(yè)的內(nèi)容不在考慮范圍。
垂直型爬蟲一個(gè)較大的特點(diǎn)和難點(diǎn)就是:如何識(shí)別網(wǎng)頁內(nèi)容是否屬于指定行業(yè)或主題。
從節(jié)省系統(tǒng)資源的角度來講,不可能把所有互聯(lián)網(wǎng)頁面下載之后在進(jìn)行篩選,這樣會(huì)造成資源過度浪費(fèi),往往需要爬蟲在抓取階段就能夠動(dòng)態(tài)識(shí)別某個(gè)網(wǎng)址是否與主題相關(guān),并盡量不去抓取無關(guān)頁面,以達(dá)到節(jié)省資源的目的。垂直搜索網(wǎng)站或者垂直行業(yè)網(wǎng)站往往需要此種類型的爬蟲。

網(wǎng)站名稱:網(wǎng)站seo優(yōu)化:了解入門爬蟲技術(shù)原理二
網(wǎng)站地址:http://jinyejixie.com/news40/90090.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)網(wǎng)站建設(shè)虛擬主機(jī)、網(wǎng)站建設(shè)、用戶體驗(yàn)品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站營銷

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)
沂南县| 鹤庆县| 西华县| 公安县| 宁化县| 汉沽区| 浏阳市| 天津市| 辽宁省| 辰溪县| 嘉义县| 横峰县| 石门县| 开阳县| 米林县| 陇西县| 阿克苏市| 茌平县| 大英县| 洛扎县| 湾仔区| 保定市| 云林县| 云林县| 勐海县| 沂水县| 苏尼特右旗| 金寨县| 四子王旗| 新乐市| 米林县| 盱眙县| 游戏| 临沧市| 兰西县| 泽普县| 颍上县| 仁怀市| 延庆县| 蒙阴县| 营山县|