整個互聯(lián)網(wǎng)站點都是由鏈接組成的，也就是說，搜索引擎蜘蛛從任何頁面最終都會爬行所有頁面。

當然，網(wǎng)站和網(wǎng)頁的鏈接結構太復雜，所以蜘蛛只能用一定的方法來抓取所有的網(wǎng)頁，據(jù)民間SEO高手了解最簡單的爬行策略有三種：

1 好優(yōu)先

好優(yōu)先搜索策略根據(jù)特定的網(wǎng)頁分析算法預測候選URL和目標頁面之間的相似度或與主題的相關性，并選擇一個或幾個評價好的URL進行爬取。它只訪問通過網(wǎng)頁分析算法預測有用的網(wǎng)頁。

存在的問題是，爬蟲抓取路徑上的許多相關頁面可能被忽略，因為最優(yōu)優(yōu)先級策略是局部最優(yōu)搜索算法，所以需要將最優(yōu)優(yōu)先級與特定應用結合起來加以改進，以便跳出局部最優(yōu)點。通過對SEO優(yōu)化網(wǎng)絡的研究，可以實現(xiàn)這種閉環(huán)調整，使無關網(wǎng)頁數(shù)量減少30%~90%。

2 深度優(yōu)先

深度首先指的是蜘蛛沿著發(fā)現(xiàn)的鏈接爬行，直到前面沒有其他鏈接，然后返回到第一頁，沿著另一個鏈接，然后直線爬行。

3 廣度優(yōu)先

Width-first是指蜘蛛發(fā)現(xiàn)頁面中有多個鏈接，不是直接沿著鏈接向前，而是沿著頁面上的所有鏈接爬行，然后沿著鏈接中找到的第二層鏈接爬向頁面的第三層。

從理論上講，無論是深度優(yōu)先還是廣度優(yōu)先，蜘蛛可以在足夠長的時間內爬過整個互聯(lián)網(wǎng)。

在實踐中，蜘蛛的帶寬資源、時間不是無限的，也不能爬行所有的頁面，事實上，大的搜索引擎只是爬行和收錄了互聯(lián)網(wǎng)的一小部分，當然，并不是蜘蛛爬取的越多越好。

網(wǎng)頁標題：蜘蛛最簡單的爬行策略有3種
網(wǎng)站地址：http://jinyejixie.com/news/6867.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設、網(wǎng)站排名、網(wǎng)站設計公司、外貿(mào)建站、虛擬主機、Google

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)