這篇文章主要介紹“怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”，在日常操作中，相信很多人在怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

我們注重客戶提出的每個(gè)要求，我們充分考慮每一個(gè)細(xì)節(jié)，我們積極的做好網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站服務(wù)，我們努力開(kāi)拓更好的視野，通過(guò)不懈的努力，成都創(chuàng)新互聯(lián)贏得了業(yè)內(nèi)的良好聲譽(yù)，這一切，也不斷的激勵(lì)著我們更好的服務(wù)客戶。 主要業(yè)務(wù)：網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)站設(shè)計(jì),重慶小程序開(kāi)發(fā),網(wǎng)站開(kāi)發(fā),技術(shù)開(kāi)發(fā)實(shí)力，DIV+CSS，PHP及ASP，ASP.Net，SQL數(shù)據(jù)庫(kù)的技術(shù)開(kāi)發(fā)工程師。

抓取帖子用的JavaScript函數(shù)如下：

function getPostByAJAX(requestURL){   var html = $.ajax({         url: requestURL,         async: false}).responseText;         return html;
}

就是一個(gè)非常簡(jiǎn)單的AJAX請(qǐng)求：

傳入該函數(shù)的輸入?yún)?shù)requestURL的值為：  http://tieba.baidu.com/i/i/my_tie

上面的url，我直接在瀏覽器里訪問(wèn)可以正常工作，返回47.2KB大小的數(shù)據(jù)。

然而當(dāng)我用AJAX函數(shù)訪問(wèn)該url時(shí)，在Chrome開(kāi)發(fā)者工具里遇到如下錯(cuò)誤：

然而，這個(gè)錯(cuò)誤沒(méi)有任何明細(xì)信息，我沒(méi)有線索去排錯(cuò)。

于是，就有了本文這個(gè)Chrome開(kāi)發(fā)者工具的隱藏技能的用武之地。

在Chrome地址欄打開(kāi):  chrome://net-internals

點(diǎn)擊Event標(biāo)簽頁(yè)：

再回到我的百度貼吧爬蟲(chóng)網(wǎng)頁(yè)，該網(wǎng)頁(yè)發(fā)起AJAX請(qǐng)求，按F5刷新后發(fā)送一個(gè)新的請(qǐng)求，然后回到Chrome開(kāi)發(fā)者工具。

該AJAX請(qǐng)求的明細(xì)就詳細(xì)顯示出來(lái)了。找到我關(guān)心的url： http://tieba.baidu.com/i/i/my_tie

chrome://net-internals 這個(gè)界面顯示的網(wǎng)絡(luò)請(qǐng)求的明細(xì)比Network標(biāo)簽頁(yè)里要詳細(xì)得多：

在響應(yīng)頭字段里發(fā)現(xiàn)了引起這個(gè)錯(cuò)誤的一些線索：

從上面的截圖發(fā)現(xiàn)，HTTP響應(yīng)狀態(tài)字段為302，location字段為 “ http://static.tieba.baidu.com/tb/error.html?ErrType=1 ” 。這兩條線索給了我提示：這個(gè)錯(cuò)誤一定和百度網(wǎng)站的登陸狀態(tài)處理相關(guān)：我使用的url不支持匿名訪問(wèn)。

我在瀏覽器里訪問(wèn)該url能夠成功，因?yàn)槲业腃ookie在起作用。

Goole了一下，發(fā)現(xiàn)了解決方案。在AJAX的請(qǐng)求參數(shù)中添加:

xhrFields:{
withCredentials: true}

如此一來(lái)，可以將我的cookie和AJAX請(qǐng)求一齊發(fā)送給百度服務(wù)器。

加上該參數(shù)后，請(qǐng)求就能夠得到期望的響應(yīng)了。

使用Chrome開(kāi)發(fā)者工具這個(gè)隱藏技能，我們還能觀察到一些其他的平時(shí)很難發(fā)現(xiàn)的細(xì)節(jié)。

比如我的AJAX請(qǐng)求通過(guò)本地的jQuery庫(kù)文件發(fā)出，我的HTML代碼里直接引用了本地文件jquery1.7.1.js。在運(yùn)行時(shí)，這個(gè)jquery1.7.1.js文件需要被加載到內(nèi)存中。

使用這個(gè)隱藏技能，我現(xiàn)在能觀察到j(luò)query1.7.1.js是通過(guò)分塊的方式被讀入到內(nèi)存中的，參考現(xiàn)在URL_REQUEST_JOB_BYTES_READ的參數(shù)：byte_count = 32768?？偣卜至?塊讀取，最后1塊因?yàn)槌叽绮粷M32768，只讀了剩下的22285字節(jié)。

這8塊的總字節(jié)數(shù)251661正好是jquery1.7.1.js的字節(jié)數(shù)。由此再次證明， chrome://net-internals 提供的功能比Network標(biāo)簽頁(yè)里的要強(qiáng)大。

到此，關(guān)于“怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

本文名稱：怎么用JavaScript爬蟲(chóng)百度貼吧數(shù)據(jù)
標(biāo)題網(wǎng)址：http://jinyejixie.com/article8/ppegip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站營(yíng)銷、Google、微信公眾號(hào)、ChatGPT、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)