創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專注于企業(yè)全網(wǎng)營銷推廣、網(wǎng)站重做改版、臨汾網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計、電子商務(wù)商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為臨汾等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

這篇文章主要介紹如何爬取美團(tuán)的店鋪評論數(shù)據(jù)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

店鋪評論數(shù)據(jù)

在重慶火鍋的文章中，我們一共爬取了每個店鋪基本信息與對應(yīng)評價兩種數(shù)據(jù)，那么較為簡單的就是評論數(shù)據(jù)，我們進(jìn)入一個店鋪的詳情頁，F12查找數(shù)據(jù)包就能輕松找到對應(yīng)的評論數(shù)據(jù)

 

所以想拿下這一頁的評論只要將headers中一些參數(shù)加進(jìn)去使用Requests.get請求即可，注意Cookie是必須要添加的

那么返回的json數(shù)據(jù)無論直接提取數(shù)據(jù)還是使用正則查找數(shù)據(jù)都不是困難的，提取之后使用Pandas保存即可，此處就不在贅述，如果需要爬取多頁評論怎么辦，先手動加載多頁評論發(fā)現(xiàn)URL中僅有offset參數(shù)變了，每頁增加10

所以只要寫個簡單的循環(huán)生成多頁URL就能拿下指定頁數(shù)的評論，OK這僅是一家店鋪的評論爬取辦法，那怎么獲得多家店鋪的評論呢？如果我們多找?guī)准业赇伒脑u論數(shù)據(jù)查看會發(fā)現(xiàn)，不同店鋪對應(yīng)的Request URL其實變化的只有店鋪的ID

所以下面的問題就轉(zhuǎn)換為如何拿到多家店鋪的ID，而這些ID都在搜索頁面下的店鋪基本數(shù)據(jù)中。

店鋪基本數(shù)據(jù)

為了找到店鋪ID，讓我們回到搜索頁面中(美團(tuán)首頁—美食—火鍋)

上面的頁面中就是重慶火鍋的第一頁，還是F12刷新很容易就能找到包含店鋪ID、均價等相關(guān)信息的數(shù)據(jù)包

所以也能輕松的獲取Request URL

修改對應(yīng)的headers信息再使用requests請求即可，然后將店鋪基本信息存下來用于分析，再將ID單獨(dú)存儲用于組合評論頁URL

當(dāng)然這只是第一頁的url的返回數(shù)據(jù)，只要修改其中的page參數(shù)就能生成多頁URL從而獲取多頁數(shù)據(jù)

以為這就結(jié)束了？并不是，評論頁的URL是不變的，但是這里的URL過幾分鐘就會變一下，也就是說如果你一次性生成10頁或更多的URL去循環(huán)請求很有可能在中間這個URL就掛掉了，所以你直接在瀏覽器中打開這個URL提示請求被拒絕，而不是顯示對應(yīng)的json值，就說明URL換了，解決辦法只有在URL更換的時候重新手動獲取最新的URL并重新組合剩下需要爬取的頁面，有點(diǎn)蠢但是因為更換的部分并沒啥規(guī)律所以好像也沒什么更好的辦法......

以上是如何爬取美團(tuán)的店鋪評論數(shù)據(jù)的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

文章題目：如何爬取美團(tuán)的店鋪評論數(shù)據(jù)-創(chuàng)新互聯(lián)
網(wǎng)頁地址：http://jinyejixie.com/article44/ccedee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、App開發(fā)、品牌網(wǎng)站設(shè)計、網(wǎng)站制作、定制網(wǎng)站、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)