蜂鳥網(wǎng)圖片--啰嗦兩句

前面的教程內(nèi)容量都比較大，今天寫一個(gè)相對(duì)簡(jiǎn)單的，爬取的還是蜂鳥，依舊采用aiohttp 希望你喜歡
爬取頁(yè)面`https://tu.fengniao.com前面程還是基于學(xué)習(xí)的目的，為啥選擇蜂鳥，沒辦法，我瞎選的。

創(chuàng)新互聯(lián)公司2013年成立，先為義安等服務(wù)建站，義安等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為義安企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

一頓熟悉的操作之后，我找到了下面的鏈接
https://tu.fengniao.com/ajax/ajaxTuPicList.php?page=2&tagsId=15&action=getPicLists

這個(gè)鏈接返回的是JSON格式的數(shù)據(jù)

1. page =2頁(yè)碼，那么從1開始進(jìn)行循環(huán)就好了
2. tags=15 標(biāo)簽名稱，15是兒童，13是美女，6391是私房照，只能幫助你到這了，畢竟我這是專業(yè)博客 ヾ(?°?°?)??
3. action=getPicLists接口地址，不變的地方

數(shù)據(jù)有了，開爬吧

import aiohttp
import asyncio

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
           "X-Requested-With": "XMLHttpRequest",
           "Accept": "*/*"}

async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報(bào)錯(cuò),其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請(qǐng)求
            if response.status == 200:  # 判斷返回的請(qǐng)求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                print(source)
            else:
                print("網(wǎng)頁(yè)訪問(wèn)失敗")

if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

上述代碼在執(zhí)行過(guò)程中發(fā)現(xiàn)，順發(fā)了20個(gè)請(qǐng)求，這樣子很容易就被人家判定為爬蟲，可能會(huì)被封IP或者賬號(hào)，我們需要對(duì)并發(fā)量進(jìn)行一下控制。
使Semaphore控制同時(shí)的并發(fā)量

import aiohttp
import asyncio
# 代碼在上面
sema = asyncio.Semaphore(3)
async def get_source(url):
    # 代碼在上面
    #######################
# 為避免爬蟲一次性請(qǐng)求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)

if __name__=="__main__":
        url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists"
        full_urllist= [url_format.format(i) for i in range(1,21)]
        event_loop = asyncio.get_event_loop()   #創(chuàng)建事件循環(huán)
        tasks = [x_get_source(url) for url in full_urllist]
        results = event_loop.run_until_complete(asyncio.wait(tasks))   #等待任務(wù)結(jié)束

走一波代碼，出現(xiàn)下面的結(jié)果，就可以啦！

在補(bǔ)充上圖片下載的代碼

import aiohttp
import asyncio

import json

## 蜂鳥網(wǎng)圖片--代碼去上面找
async def get_source(url):
    print("正在操作:{}".format(url))
    conn = aiohttp.TCPConnector(verify_ssl=False)  # 防止ssl報(bào)錯(cuò),其中一種寫法
    async with aiohttp.ClientSession(connector=conn) as session:  # 創(chuàng)建session
        async with session.get(url, headers=headers, timeout=10) as response:  # 獲得網(wǎng)絡(luò)請(qǐng)求
            if response.status == 200:  # 判斷返回的請(qǐng)求碼
                source = await response.text()  # 使用await關(guān)鍵字獲取返回結(jié)果
                ############################################################
                data = json.loads(source)
                photos = data["photos"]["photo"]
                for p in photos:
                    img = p["src"].split('?')[0]
                    try:
                        async with session.get(img, headers=headers) as img_res:
                            imgcode = await img_res.read()
                            with open("photos/{}".format(img.split('/')[-1]), 'wb') as f:
                                f.write(imgcode)
                                f.close()
                    except Exception as e:
                        print(e)
                ############################################################
            else:
                print("網(wǎng)頁(yè)訪問(wèn)失敗")

# 為避免爬蟲一次性請(qǐng)求次數(shù)太多，控制一下
async def x_get_source(url):
    with(await sema):
        await get_source(url)

if __name__=="__main__":
        #### 代碼去上面找
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

圖片下載成功，一個(gè)小爬蟲，我們又寫完了，美滋滋

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：Python爬蟲入門【8】：蜂鳥網(wǎng)圖片爬取之三-創(chuàng)新互聯(lián)
鏈接分享：http://jinyejixie.com/article4/hgiie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、網(wǎng)站維護(hù)、云服務(wù)器、服務(wù)器托管、外貿(mào)網(wǎng)站建設(shè)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)