本篇文章為大家展示了如何用Python爬取某站租房圖片，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

成都創(chuàng)新互聯(lián)是專業(yè)的邢臺網(wǎng)站建設公司，邢臺接單;提供成都網(wǎng)站設計、成都做網(wǎng)站,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行邢臺網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

第三方庫

首先安裝

我是用的pycharm所以另外的腳本安裝我這就不介紹了。

如上圖打開默認設置選擇Project Interprecter，雙擊pip或者點擊加號，搜索要安裝的第三方庫。其中如果建立的項目多記得Project Interprecter要選擇正確的安裝位置不然無法導入。

Requests庫

requests庫的官方定義：Requests 唯一的一個非轉(zhuǎn)基因的 Python HTTP 庫，人類可以安全享用。其實他就是請求網(wǎng)絡獲取網(wǎng)頁數(shù)據(jù)的。

import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
    print(res.text);
except  ConnectionError:
    print('訪問被拒絕！?。?#39;)

結(jié)果如下：

其中Request Headers的參數(shù)如下：

• headers的一些屬性：

• Accept:指定客戶端能夠接收的內(nèi)容類型，內(nèi)容類型的先后次序表示客戶端接收的先后次序

• Accept-Lanuage:指定HTTP客戶端瀏覽器用來展示返回信息優(yōu)先選擇的語言

• Accept-Encoding指定客戶端瀏覽器可以支持的web服務器返回內(nèi)容壓縮編碼類型。表示允許服務器在將輸出內(nèi)容發(fā)送到客戶端以前進行壓縮，以節(jié)約帶寬。而這里設置的就是客戶端瀏覽器所能夠支持的返回壓縮格式。

• Accept-Charset:HTTP客戶端瀏覽器可以接受的字符編碼集

• User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發(fā)出的請求

• Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。

• application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時使用

• application/json ： 在 JSON RPC 調(diào)用時使用

• application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用

• 在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務

BeautifulSoup庫

BeautifulSoup可以輕松的解析Requests庫請求的頁面，并把頁面源代碼解析為Soup文檔，一邊過濾提取數(shù)據(jù)。這是bs4.2的文檔。
Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認的解析器，其中l(wèi)xml 據(jù)說是相對而言比較強大的我下面的暗示是python 標準庫的。

選擇器select

案例：爬取上海租房圖片

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分頁抓取
adminCout=6
for arurl in url:
    adminCout=adminCout+1
    res=requests.get(arurl,headers=header)
    soup=BeautifulSoup(res.text,'html.parser')
    arryImg=soup.select('.img_list img')
    print(arryImg)
    count = 0;
    for img in arryImg:
        print(img['lazy_src'])
        _url = img['lazy_src']
        pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg"  # 設置路徑和文件名
        result = urllib.request.urlopen(_url)  # 打開鏈接，和python2.x不同請注意了
        data = result.read()  # 否則開始下載到本地
        with open(pathName, "wb") as code:
            code.write(data)
            code.close()
            count = count + 1  # 計數(shù)+1
            print("正在下載第：", count)
        time.sleep(30)

上述內(nèi)容就是如何用Python爬取某站租房圖片，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁題目：如何用Python爬取某站租房圖片
標題來源：http://jinyejixie.com/article40/iiseeo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供云服務器、網(wǎng)站內(nèi)鏈、用戶體驗、網(wǎng)頁設計公司、軟件開發(fā)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)