創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了槐蔭免費(fèi)建站歡迎大家使用！

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Python爬蟲(chóng)中的Handler和Opener的介紹 ，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Handler處理器和自定義Opener

opener是urllib2.OpenerDirector的實(shí)例，我們之前一直在使用urlopen，它是一個(gè)特殊的opener(也就是我們構(gòu)建好的)。

但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高級(jí)功能。所有要支持這些功能：

1.使用相關(guān)的Handler處理器來(lái)創(chuàng)建特定功能的處理器對(duì)象；

2.然后通過(guò)urllib2.build_opener()方法使用這些處理器對(duì)象，創(chuàng)建自定義opener對(duì)象；

3.使用自定義的opener對(duì)象，調(diào)用open()方法發(fā)送請(qǐng)求。

如果程序里所有的請(qǐng)求都使用自定義的opener,可以使用urllib2.install_open()將自定義的opener對(duì)象定義為全局opener,表示如果之后凡是調(diào)用urlopen,都將使用這個(gè)opener(根據(jù)自己的需求來(lái)選擇)。

簡(jiǎn)單的自定義opener()

# _*_ coding:utf-8 _*_
import urllib2
# 構(gòu)建一個(gè)HTTPHandler處理器對(duì)象，支持處理HTTP的請(qǐng)求
http_handler = urllib2.HTTPHandler()
# 調(diào)用build_opener()方法構(gòu)建一個(gè)自定義的opener對(duì)象，參數(shù)是構(gòu)建的處理器對(duì)象
opener = urllib2.build_opener(http_handler)
request = urllib2.Request('http://www.baidu.com/s')
# 調(diào)用自定義opener對(duì)象的open()方法,發(fā)送request請(qǐng)求
response = opener.open(request) 
print response.read()

debug log模式

可以在HTTPHandler里面加參數(shù)（debuglevel=1）打開(kāi)。

# _*_ coding:utf-8 _*_
import urllib2
# 構(gòu)建一個(gè)HTTPHandler處理器對(duì)象，支持處理HTTP的請(qǐng)求
# http_handler = urllib2.HTTPHandler()
# 主要用于調(diào)試用
http_handler = urllib2.HTTPHandler(debuglevel=1)
# 調(diào)用build_opener()方法構(gòu)建一個(gè)自定義的opener對(duì)象，參數(shù)是構(gòu)建的處理器對(duì)象
opener = urllib2.build_opener(http_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
# print response.read()

ProxyHandler處理器（代理設(shè)置）

使用代理IP，這是爬蟲(chóng)/反爬蟲(chóng)的第二大招，通常也是最好用的。

很多網(wǎng)站會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪問(wèn)次數(shù)(通過(guò)流量統(tǒng)計(jì)，系統(tǒng)日志等)，如果訪問(wèn)次數(shù)多的不像正常人，它會(huì)禁止這個(gè)IP的訪問(wèn)。

所以我們可以設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理，就算IP被禁止，依然可以換個(gè)IP繼續(xù)爬取。

urllib2中通過(guò)ProxyHandler來(lái)設(shè)置使用代理服務(wù)器，使用自定義opener來(lái)使用代理：

免費(fèi)代理網(wǎng)站：http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

# _*_ coding:utf-8 _*_
import urllib2
# 構(gòu)建一個(gè)Handler處理器對(duì)象，參數(shù)是一個(gè)字典類型，包括代理類型和代理服務(wù)器IP+Port
httpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})
#使用代理
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
#1 如果這么寫(xiě)，只有使用opener.open()方法發(fā)送請(qǐng)求才使用自定義的代理，而urlopen()則不使用自定義代理。
response = opener.open(request)
#12如果這么寫(xiě)，就是將opener應(yīng)用到全局，之后所有的，不管是opener.open()還是urlopen() 發(fā)送請(qǐng)求，都將使用自定義代理。
#urllib2.install_opener(opener)
#response = urllib2.urlopen(request)
print response.read()

但是，這些免費(fèi)開(kāi)放代理一般會(huì)有很多人都在使用，而且代理有壽命短，速度慢，匿名度不高，HTTP/HTTPS支持不穩(wěn)定等缺點(diǎn)（免費(fèi)沒(méi)好貨）,所以，專業(yè)爬蟲(chóng)工程師會(huì)使用高品質(zhì)的私密代理。

 私密代理

（代理服務(wù)器都有用戶名和密碼）必須先授權(quán)才能用。

# _*_ coding:utf-8 _*_
import urllib2
#必須輸入用戶名密碼，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':'username:pwd@ip:port})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

為了安全一般把私密代理ip用戶名密碼保存到系統(tǒng)環(huán)境變量里面，再讀出來(lái)。

# _*_ coding:utf-8 _*_
import urllib2
import os 
# 從環(huán)境變量里面取到用戶名和密碼
proxyuser = os.environ.get('proxuser')   
proxypasswd = os.environ.get('proxpasswd')
#必須輸入用戶名密碼，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':proxyuser+':'+proxypasswd+'@ip:port'})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

上述就是小編為大家分享的Python爬蟲(chóng)中的Handler和Opener的介紹 了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

當(dāng)前標(biāo)題：Python爬蟲(chóng)中的Handler和Opener的介紹-創(chuàng)新互聯(lián)
本文路徑：http://jinyejixie.com/article6/diodog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、ChatGPT、域名注冊(cè)、網(wǎng)站改版、靜態(tài)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)