成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

怎么用requests爬取漂亮照片

本篇內(nèi)容主要講解“怎么用requests爬取漂亮照片”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“怎么用requests爬取漂亮照片”吧!

在貢嘎等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作 網(wǎng)站設(shè)計制作按需定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都全網(wǎng)營銷推廣,外貿(mào)網(wǎng)站建設(shè),貢嘎網(wǎng)站建設(shè)費用合理。

selenium是什么?


selenium自動化瀏覽器。就是這樣!你如何運用這種力量完全取決于你自己。它主要用于自動化web應用程序以進行測試,但當然不限于此。無聊的基于web的管理任務(wù)也可以(也應該)自動化。

一些大型瀏覽器廠商已經(jīng)(或正在)采取措施使Selenium成為其瀏覽器的本地部分,這些廠商支持Selenium。它也是無數(shù)其他瀏覽器自動化工具、api和框架的核心技術(shù)。

可以說selenium的本職工作并不是用來爬蟲的,而是用于自動化Web應用程序的測試目的。所以用selenium來爬知乎上面的圖其實是一種比較劍走偏鋒的做法,這也解釋為了為什么爬取量不是很樂觀。

什么是Requests

來看看 Requests的文檔:Requests 唯一的一個非轉(zhuǎn)基因的 Python HTTP 庫,人類可以安全享用。警告:非專業(yè)使用其他 HTTP 庫會導致危險的副作用,包括:安全缺陷癥、冗余代碼癥、重新發(fā)明輪子癥、啃文檔癥、抑郁、頭疼、甚至死亡。

從這個幽默的介紹中,不難看出來Requests作者對于Requests非常有自信,我們用Requests爬知乎圖片也剛好驗證了這一點。

爬起來!

我們按照慣例簡要說明一下爬蟲步驟:

0 1      
找到相關(guān)的問題,獲取問題id

怎么用requests爬取漂亮照片

怎么用requests爬取漂亮照片

如上圖所示,我們需要的id就在紅色框線里面。

0 2      
用requests解析網(wǎng)頁

核心代碼:

get_url = 'https://www.zhihu.com/api/v4/questions/'+id+'/answers?include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset='+str(offset)+'&sort_by=default'
       header = {            'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",            'Host': "www.zhihu.com",        }
       r = requests.get(get_url, verify=False, headers=header)        content = r.content.decode("utf-8")        txt = json.loads(content)

我們把網(wǎng)頁信息解析到了txt中。

0 3      
匹配獲得圖片地址

核心代碼:

imgUrls = re.findall(r'data-original="([^"]+)"', str(txt))imgUrls = list(set(imgUrls))for imgUrl in imgUrls:            try:                splitPath = imgUrl.split('.')                fTail = splitPath.pop()                print(fTail)                if len(fTail) > 3 :                    fTail = 'jpg'                fileName = path +"/" + str(number) + "."+fTail                                img_data = urllib.request.urlopen(imgUrl).read()

在獲取txt后,我們需要用正則表達式匹配圖片的地址,然后根據(jù)這個地址下載圖片到本地。

到此,相信大家對“怎么用requests爬取漂亮照片”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢,關(guān)注我們,繼續(xù)學習!

網(wǎng)站題目:怎么用requests爬取漂亮照片
轉(zhuǎn)載來源:http://jinyejixie.com/article36/ijchpg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版域名注冊、外貿(mào)建站、網(wǎng)站設(shè)計公司、軟件開發(fā)App設(shè)計

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

營銷型網(wǎng)站建設(shè)
玛沁县| 丹棱县| 宣汉县| 汉中市| 湘阴县| 和林格尔县| 台中县| 永泰县| 胶南市| 静海县| 搜索| 卓资县| 南京市| 济宁市| 宜城市| 桃江县| 宁陵县| 玉环县| 济宁市| 卓资县| 南华县| 遂平县| 沁源县| 林周县| 花垣县| 抚顺县| 九龙坡区| 泌阳县| 香格里拉县| 横峰县| 嘉黎县| 临猗县| 会泽县| 宁蒗| 宁化县| 宁明县| 广元市| 晋宁县| 佛山市| 咸丰县| 汉寿县|