這篇文章將為大家詳細(xì)講解有關(guān)Python爬蟲(chóng)中如何實(shí)現(xiàn)bilibili視頻彈幕提取功能,小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。
成都創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括武鳴網(wǎng)站建設(shè)、武鳴網(wǎng)站制作、武鳴網(wǎng)頁(yè)制作以及武鳴網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái),我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,武鳴網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶(hù)以成都為中心已經(jīng)輻射到武鳴省份的部分城市,未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶(hù)的支持與信任!兩個(gè)重要點(diǎn)
1.獲取彈幕的url是以 .xml 結(jié)尾
2.彈幕url的所需參數(shù)在視頻url響應(yīng)的 javascript 中
先看代碼
import requests from lxml import etree import re # 使用手機(jī)UA headers = { "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1" } # 視頻url video_url = "https://m.bilibili.com/video/av37834086.html" html = requests.get(url=video_url, headers=headers).content.decode('utf-8') # 獲取彈幕url的參數(shù) cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html) url = "https://comment.bilibili.com/" + cid[0] + ".xml" print(url) response = requests.get(url, headers=headers) html = response.content xml = etree.HTML(html) # 提取數(shù)據(jù) str_list = xml.xpath("//d/text()") # 寫(xiě)入文件 with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f: for line in str_list: f.write(line) f.write('\n')
先找到彈幕的url,以.xml結(jié)尾,所以先找到這串?dāng)?shù)字所在的位置,并獲取這串?dāng)?shù)字發(fā)起第二次請(qǐng)求
而這串?dāng)?shù)字就在 第一次請(qǐng)求的響應(yīng)的JavaScript中,可以通過(guò) re 正則表達(dá)式進(jìn)行提取
接下來(lái)的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù),然后對(duì)響應(yīng)進(jìn)行數(shù)據(jù)處理。
代碼示例中使用的是 lxml 進(jìn)行獲取。接著就是保存到個(gè)人本地文件中了
關(guān)于“Python爬蟲(chóng)中如何實(shí)現(xiàn)bilibili視頻彈幕提取功能”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,使各位可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),請(qǐng)把它分享出去讓更多的人看到。
分享標(biāo)題:Python爬蟲(chóng)中如何實(shí)現(xiàn)bilibili視頻彈幕提取功能-創(chuàng)新互聯(lián)
URL鏈接:http://jinyejixie.com/article48/cesphp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供響應(yīng)式網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化、靜態(tài)網(wǎng)站、服務(wù)器托管、標(biāo)簽優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容