作為一名數(shù)據(jù)采集者,我們都是知道,一個網(wǎng)站要是頻繁訪問都會被封IP ,那要怎么解決這個問題呢?不可能一直頻繁的更換設(shè)備,不光數(shù)據(jù)不能同步,這些設(shè)備的成本也是無法預(yù)計(jì)的,所以這個時(shí)候就需要代理 IP 了。以億牛云 (https://www.16yun.cn/) 代理為例,代理 IP 在 python 的使用 .
十年建站經(jīng)驗(yàn), 做網(wǎng)站、網(wǎng)站制作客戶的見證與正確選擇。創(chuàng)新互聯(lián)提供完善的營銷型網(wǎng)頁建站明細(xì)報(bào)價(jià)表。后期開發(fā)更加便捷高效,我們致力于追求更美、更快、更規(guī)范。
億牛云官網(wǎng)提供了兩種模式的代理使用方式
1. 優(yōu)質(zhì) API 代理:通過 api 連接獲取代理信息,返回的是 ip 和端口。
2. 動態(tài)轉(zhuǎn)發(fā)隧道代理:接入固定代理服務(wù)器,動態(tài)轉(zhuǎn)發(fā)請求,無須切換 IP ,連接上代理服務(wù)器后,每一個請求都是一個隨機(jī) IP ,按照每秒的請求量進(jìn)行收費(fèi)。
1 先獲取 api 連接
在后臺直接把代理連接拷貝到程序里面
import requests
# 生成的 API 鏈接
url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12
resp = requests.get(url=url)
if resp.status_code == 200:
data_json = resp.text
for d in data_json['msg']:
port = d['port']
ip = d['ip']
full_ip = ip + ':' + port
print(full_ip)
程序配置好后直接啟動程序就可以獲取代理ip ,然后把代理 ip 拼到請求參數(shù)里面就可以進(jìn)行數(shù)據(jù)采集了。
分享題目:python爬蟲如何使用代理IP-創(chuàng)新互聯(lián)
網(wǎng)頁地址:http://jinyejixie.com/article26/ichcg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)公司、小程序開發(fā)、定制開發(fā)、網(wǎng)站策劃、ChatGPT、品牌網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)