這篇文章將為大家詳細(xì)講解有關(guān)python反爬蟲(chóng)限制訪問(wèn)的解決方法，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)專注于郎溪企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城網(wǎng)站建設(shè)。郎溪網(wǎng)站建設(shè)公司,為郎溪等地區(qū)提供建站服務(wù)。全流程定制開(kāi)發(fā)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

單臺(tái)機(jī)器，單個(gè)IP大家都明白，短時(shí)間內(nèi)訪問(wèn)一個(gè)網(wǎng)站幾十次后肯定會(huì)被屏蔽的。每個(gè)網(wǎng)站對(duì)IP的解封策略也不一樣，有的1小時(shí)候后又能重新訪問(wèn)，有的要一天，有的要幾個(gè)月去了。

突破抓取頻率限制有兩種方式，一種是研究網(wǎng)站的反爬策略。有的網(wǎng)站不對(duì)列表頁(yè)做頻率控制，只對(duì)詳情頁(yè)控制。有的針對(duì)特定UA，referer，或者微信的H5頁(yè)面的頻率控制要弱很多。

另一種方式就是多IP抓取。

多IP抓取又分IP代理池和adsl撥號(hào)兩種，我這里說(shuō)adsl撥號(hào)的方式，IP代理池相對(duì)于adsl來(lái)說(shuō)，我覺(jué)得收費(fèi)太貴了。要穩(wěn)定大規(guī)模抓取肯定是要用付費(fèi)的，一個(gè)月也就100多塊錢。adsl的特點(diǎn)是可以短時(shí)間內(nèi)重新?lián)芴?hào)切換IP，IP被禁止了重新?lián)芴?hào)一下就可以了。這樣你就可以開(kāi)足馬力瘋狂抓取了，但是一天只有24小時(shí)合86400秒，要如何一天抓過(guò)百萬(wàn)網(wǎng)頁(yè)，讓網(wǎng)絡(luò)性能較大化也是需要下一些功夫的，后面我再詳說(shuō)。至于有哪些可以adsl撥號(hào)的野云主機(jī)，你在百度搜"vps adsl"，能選擇的廠商很多的。大多宣稱有百萬(wàn)級(jí)IP資源可撥號(hào)，我曾測(cè)試過(guò)一段時(shí)間，把每次撥號(hào)的IP記錄下來(lái)，有真實(shí)二三十萬(wàn)IP的就算不錯(cuò)了。 選adsl的一個(gè)注意事項(xiàng)是，有的廠商撥號(hào)IP只能播出C段和D段IP，110(A段).132(B段).3(C段).2(D段)，A和B段都不會(huì)變，靠C，D段IP高頻次抓取對(duì)方網(wǎng)站，有可能對(duì)方網(wǎng)站把整個(gè)C/D段IP都封掉。C/D段加一起255X255就是6萬(wàn)多個(gè)IP全都報(bào)廢，所以要選撥號(hào)IP范圍較寬的廠商。 這些都是野云主機(jī)，質(zhì)量和穩(wěn)定性本就沒(méi)那么好。只有多試一試，試的成本也不大，買一臺(tái)玩玩一個(gè)月也就一百多元，還可以按天買。

上面為什么說(shuō)不用付費(fèi)的IP代理池？

因?yàn)楸萢dsl撥號(hào)貴很多，因?yàn)槿僮トr(shí)，一個(gè)反爬做得可以的網(wǎng)站10秒內(nèi)就會(huì)封掉這個(gè)IP，所以10秒就要換一個(gè)IP，理想狀況下一天86400秒，要換8640個(gè)IP。如果用付費(fèi)IP代理池的話，一個(gè)代理IP收費(fèi)4分錢，8640個(gè)IP一天就要345元。 adsl撥號(hào)的主機(jī)一個(gè)月才100多元。adsl撥號(hào)Python代碼怎么撥號(hào)廠商都會(huì)提供的，建議是用廠商提供的方式，這里只是示例：windows下用os調(diào)用rasdial撥號(hào)：

import os
# 撥號(hào)斷開(kāi)
os.popen('rasdial 網(wǎng)絡(luò)鏈接名稱 /disconnect')
# 撥號(hào)
os.popen('rasdial 網(wǎng)絡(luò)鏈接名稱 adsl賬號(hào) adsl密碼')

linux下?lián)芴?hào)：

import os
# 撥號(hào)斷開(kāi)
code = os.system('ifdown 網(wǎng)絡(luò)鏈接名稱')
# 撥號(hào)code = os.system('ifup 網(wǎng)絡(luò)鏈接名稱')

關(guān)于python反爬蟲(chóng)限制訪問(wèn)的解決方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

文章題目：python反爬蟲(chóng)限制訪問(wèn)的解決方法-創(chuàng)新互聯(lián)
當(dāng)前路徑：http://jinyejixie.com/article20/jeijo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站內(nèi)鏈、電子商務(wù)、手機(jī)網(wǎng)站建設(shè)、域名注冊(cè)、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)