前言

由于一些論壇不登錄驗證，就不能查看帖子的內(nèi)容和附件，所以需要登錄驗證，如果在代碼中添加登錄驗證，那就增加了代碼的復(fù)雜度，所以可以結(jié)合cookie來登錄然后爬取需要的資料

成都創(chuàng)新互聯(lián)公司，為您提供成都網(wǎng)站建設(shè)、網(wǎng)站制作公司、網(wǎng)站營銷推廣、網(wǎng)站開發(fā)設(shè)計，對服務(wù)衛(wèi)生間隔斷等多個行業(yè)擁有豐富的網(wǎng)站建設(shè)及推廣經(jīng)驗。成都創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)公司成立于2013年,提供專業(yè)網(wǎng)站制作報價服務(wù),我們深知市場的競爭激烈，認(rèn)真對待每位客戶，為客戶提供賞心悅目的作品。 與客戶共同發(fā)展進(jìn)步，是我們永遠(yuǎn)的責(zé)任！

cookie的獲取

• 使用chrome,登錄后在開發(fā)工具里查取
  

#!/usr/bin/env python
# -*- coding:utf-8 -*-
"""
@author:Aiker Zhao
@file:jianli.py
@time:下午10:50
"""
import os
import re

import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
from hashlib import md5

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
    'Cookie': 'PHPSESSID=ui7unwxc3yf4glbdaqmat2ee00; __cfduid=de4fa38a23ad640f0bcdb4313560af62e1543723208; ape__Session=ui7uxxxxdfd4glbdaqmat2ee00; _ga=GA1.2.176343230234.1552443854'

}

def get_content():
    url = 'http://ask.xxxx.com/question/xxxx'   # url
    response = requests.get(url, headers=headers).text.replace('<i class="fa fa-paperclip"></i>', '')
    soup = BeautifulSoup(response, 'lxml')
    # div = soup.select('#aw-mod-body ueditor-p-reset')
    pattern = re.compile('<a\shref="(http://ask.apelearn.com/file.*?)".*?>(.*?)</a>', re.S)
    p = soup.find_all('a')
    for item in p:
        # print(str(item))
        result = re.findall(pattern, str(item))
        if result:
            # print(result)
            for i in result:
                url, name = i
                # print(i)
                yield {
                    'url': url,
                    'name': name
                }

def download_doc(url, name):
    print('正在下載', name, url)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            save_doc(response.content, name)
        return None
    except RequestException:
        print('請求文檔出錯', url)
        return None

def save_doc(content, name):
    try:
        if name:
            name_1 = re.sub('[:?！!：？【】]', '', name).split('.')[0]  # 替換title中的特殊字符，避免建立文件出錯
            name_2 = name.split('.')[-1]
            dir = 'z:\\jianli2\\'
            if os.path.exists(dir):
                pass
            else:
                os.mkdir(dir)
            file_path = '{0}/{1}.{2}'.format(dir, name_1 + md5(content).hexdigest(), name_2)
            # file_path = '{0}/{1}'.format(dir, name)
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(content)
                    f.close()
    except OSError:
        pass

def main():
    # get_content()
    for f in get_content():
        url = f.get('url')
        name = f.get('name')
        download_doc(url, name)

if __name__ == '__main__':
    main()

運(yùn)行腳本

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章題目：python3使用cookie免登錄爬取附件并下載-創(chuàng)新互聯(lián)
URL鏈接：http://jinyejixie.com/article42/egeec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、商城網(wǎng)站、品牌網(wǎng)站建設(shè)、做網(wǎng)站、企業(yè)網(wǎng)站制作、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)