這篇文章將為大家詳細(xì)講解有關(guān)python爬蟲(chóng)中怎么處理429錯(cuò)誤，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)公司是一家專業(yè)提供額濟(jì)納企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為額濟(jì)納眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

Python的優(yōu)點(diǎn)有哪些

1、簡(jiǎn)單易用，與C/C++、Java、C# 等傳統(tǒng)語(yǔ)言相比，Python對(duì)代碼格式的要求沒(méi)有那么嚴(yán)格；2、Python屬于開(kāi)源的，所有人都可以看到源代碼，并且可以被移植在許多平臺(tái)上使用；3、Python面向?qū)ο?，能夠支持面向過(guò)程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語(yǔ)言，Python寫(xiě)的程序不需要編譯成二進(jìn)制代碼，可以直接從源代碼運(yùn)行程序；5、Python功能強(qiáng)大，擁有的模塊眾多，基本能夠?qū)崿F(xiàn)所有的常見(jiàn)功能。

我們?cè)谑褂胮ython爬蟲(chóng)爬取頁(yè)面的過(guò)程中爬到某個(gè)時(shí)刻異常報(bào)錯(cuò)，如果是被反爬抓到了，就是403錯(cuò)誤，那有的時(shí)候會(huì)出現(xiàn)429錯(cuò)誤是什么意思呢？429錯(cuò)誤是指在爬蟲(chóng)的過(guò)程中同一時(shí)間訪問(wèn)頻率過(guò)高，因此控制訪問(wèn)的速度就可以了。本文介紹python爬蟲(chóng)中處理429錯(cuò)誤的方法及具體代碼。

什么是429錯(cuò)誤？

429是Too Many Requests，http代碼429表示訪問(wèn)過(guò)快。意思就是同一時(shí)間訪問(wèn)頻率過(guò)高，大多是因?yàn)槌绦虿l(fā)太高超過(guò)代理那邊給的帳號(hào)的并發(fā)限制了。

如何處理？

控制訪問(wèn)的速度就可以了。

有些服務(wù)器會(huì)在返回的頭部中添加"Retry-After"，這是通知多久之后重試，獲取這個(gè)值，然后sleep就可以了。

python爬蟲(chóng)中處理429錯(cuò)誤？

捕獲錯(cuò)誤

try: 
 
.....
 
except aiohttp.ClientResponseError as e:  # 響應(yīng)錯(cuò)誤
    if status== 429:
        retryAfter="Retry-After"
        headers=e.headers
        sec=getHeader(headers, retryAfter)
        if len(sec)>0:
            sec=int(sec)
            print(status, "請(qǐng)求過(guò)快，服務(wù)器要求待",sec , url )
            time.sleep(sec) # If the rate limit is renewed in a minute, put 60 seconds, and so on.
        else:
            print(status, "服務(wù)器拒絕了請(qǐng)求，表示請(qǐng)求過(guò)快。取消重試，請(qǐng)稍后再試！", url)

def getHeader(headers, key):
    key_lower=key.lower()
    headers_lower = {k.lower():v for k,v in headers.items()}
    if (key_lower in headers_lower) :
        return headers_lower[key_lower]
    else:
        return ''

關(guān)于“python爬蟲(chóng)中怎么處理429錯(cuò)誤”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

分享文章：python爬蟲(chóng)中怎么處理429錯(cuò)誤
標(biāo)題網(wǎng)址：http://jinyejixie.com/article2/iisjic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、定制網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站內(nèi)鏈、網(wǎng)頁(yè)設(shè)計(jì)公司、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)