網絡爬蟲工作原理
2016-10-30 分類： 網站建設
1、聚焦爬蟲工作原理及關鍵技術概述
網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從Internet網上下載網頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據(jù)一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據(jù)一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統(tǒng)的某一條件時停止，另外，所有被爬蟲抓取的網頁將會被系統(tǒng)存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。
相對于通用網絡爬蟲，聚焦爬蟲還需要解決三個主要問題：
對抓取目標的描述或定義；
對網頁或數(shù)據(jù)的分析與過濾；
對URL的搜索策略。
抓取目標的描述和定義是決定網頁分析算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。
網頁名稱：網絡爬蟲工作原理
網頁地址：http://jinyejixie.com/news/57128.html
成都網站建設公司_創(chuàng)新互聯(lián)，為您提供Google、網站策劃、動態(tài)網站、手機網站建設、定制開發(fā)、軟件開發(fā)
聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容
- 刷百度指數(shù)原理 2016-10-30
- seo優(yōu)化要注意的幾點事項 2016-11-01
- seo優(yōu)化之文章內容怎樣提升 2016-11-01
- 如何更新網站內容，讓網站充分發(fā)揮更大使用價值 2016-10-30
- 網站流量減少的原因 2016-10-30
- web標準做出來的網頁有哪些好處? 2016-10-30
- 優(yōu)秀網站的建設標準有哪些? 2016-10-30
- 總體目標關鍵字和長尾詞有什么差別？ 2016-10-30
- 怎樣讓你的網址轉換率提升 2016-10-30
- 做長尾詞排名的好方法 2016-11-01
- seo優(yōu)化要做的一些必需工作 2016-11-01
- 低價位建網站的參考 2016-10-30
- CN域名市場現(xiàn)狀分析 2016-10-30
- 對asp一些認識上的誤區(qū) 2016-10-30
- 令人厭煩的網頁布局 2016-11-03
- 什么是IDC 2016-10-30
- 網站的質量和售后服務承諾 2016-10-30
- 企業(yè)手工建站與企業(yè)自助建站的區(qū)別 2016-10-30
- 策劃制作網站應注意的九大原則 2016-11-03