成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

搜索引擎蜘蛛爬行規(guī)律探秘(一)蜘蛛如何抓取鏈接

2021-10-23    分類: 網(wǎng)站建設(shè)

搜索引擎蜘蛛,對(duì)于我們來(lái)說(shuō)非常神秘,本文的配圖使用蜘蛛俠的原因就在于此。當(dāng)然我們也不是百度的也不是Google的,所以只能說(shuō)探秘,而不是揭秘。本文內(nèi)容比較簡(jiǎn)單,只是給不知道的朋友一個(gè)分享的途徑,高手和牛人請(qǐng)繞行吧。

傳統(tǒng)意義上,我們感覺搜索引擎蜘蛛(spider)爬行,應(yīng)該類似于真正的蜘蛛在蜘蛛網(wǎng)上爬行。也就是比如百度蜘蛛找到一個(gè)鏈接,順著這個(gè)鏈接爬行到一個(gè)頁(yè)面,然后再順著這個(gè)頁(yè)面里面的鏈接繼續(xù)爬……這個(gè)類似于蜘蛛網(wǎng),也類似于一棵大樹。這個(gè)理論雖然正確,但是不準(zhǔn)確。

搜索引擎內(nèi)部是有一個(gè)網(wǎng)址索引庫(kù)的,所以搜索引擎蜘蛛是從搜索引擎的服務(wù)器出發(fā),順著搜索引擎已有的網(wǎng)址爬行一個(gè)網(wǎng)頁(yè),并將網(wǎng)頁(yè)內(nèi)容抓取回來(lái)。頁(yè)面采集回來(lái)之后,搜索引擎會(huì)對(duì)其進(jìn)行分析,將內(nèi)容和鏈接分開,內(nèi)容暫時(shí)先不說(shuō)。分析出來(lái)鏈接之后,搜索引擎并不會(huì)馬上去派蜘蛛進(jìn)行抓取,而是把鏈接和錨文本記錄下來(lái)交給網(wǎng)址索引庫(kù)進(jìn)行分析、對(duì)比和計(jì)算,最后放入網(wǎng)址索引庫(kù)。進(jìn)入了網(wǎng)址索引庫(kù)之后,才會(huì)有蜘蛛去抓取。

也就是如果出現(xiàn)了某個(gè)網(wǎng)頁(yè)的外鏈,并不一定會(huì)立刻有蜘蛛去抓取這個(gè)頁(yè)面,而是會(huì)有一個(gè)分析計(jì)算的過(guò)程。即便是這個(gè)外鏈在蜘蛛抓取之后被刪除了,這個(gè)鏈接也有可能已經(jīng)被搜索引擎記錄,以后還有抓取的可能。而且下次如果蜘蛛再去抓取這個(gè)外鏈所在頁(yè)面,發(fā)現(xiàn)鏈接不存在了,或者外鏈所在頁(yè)面出現(xiàn)了404,那么只是減少了這個(gè)外鏈的權(quán)重,應(yīng)該不會(huì)去網(wǎng)址索引庫(kù)刪除這個(gè)鏈接。

所以說(shuō)已經(jīng)不存在的頁(yè)面上的鏈接,也有作用。今天就分享這些,以后繼續(xù)跟大家分享我自己分析的內(nèi)容,如果有不準(zhǔn)確的地方,請(qǐng)大家批評(píng)指正。

分享標(biāo)題:搜索引擎蜘蛛爬行規(guī)律探秘(一)蜘蛛如何抓取鏈接
URL鏈接:http://jinyejixie.com/news17/132617.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站策劃、云服務(wù)器、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站改版App開發(fā)、網(wǎng)站收錄

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
锦屏县| 道真| 新建县| 绥芬河市| 聂荣县| 景宁| 砚山县| 宜城市| 柳州市| 尤溪县| 叶城县| 江城| 郓城县| 宣武区| 都江堰市| 皮山县| 内黄县| 喀什市| 固阳县| 民权县| 仲巴县| 葫芦岛市| 唐海县| 浙江省| 贡嘎县| 沙湾县| 肇源县| 许昌县| 宁国市| 绍兴市| 三明市| 肥西县| 新巴尔虎右旗| 油尖旺区| 卢龙县| 油尖旺区| 嘉峪关市| 法库县| 左权县| 荣昌县| 宿州市|