獲取全站用戶，理論來(lái)說(shuō)從1個(gè)用戶作為切入點(diǎn)就可以，我們需要爬取用戶的關(guān)注列表，從關(guān)注列表不斷的疊加下去。

創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供普蘭店網(wǎng)站建設(shè)、普蘭店做網(wǎng)站、普蘭店網(wǎng)站設(shè)計(jì)、普蘭店網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、普蘭店企業(yè)網(wǎng)站模板建站服務(wù)，10多年普蘭店做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

隨便打開(kāi)一個(gè)用戶的個(gè)人中心

綠色圓圈里面的都是我們想要采集到的信息。這個(gè)用戶關(guān)注0人？那么你還需要繼續(xù)找一個(gè)入口，這個(gè)用戶一定要關(guān)注了別人。選擇關(guān)注列表，是為了讓數(shù)據(jù)有價(jià)值，因?yàn)殛P(guān)注者里面可能大量的小號(hào)或者不活躍的賬號(hào)，價(jià)值不大。

我選了這樣一個(gè)入口頁(yè)面，它關(guān)注了3個(gè)人，你也可以選擇多一些的，這個(gè)沒(méi)有太大影響！
https://juejin.im/user/55fa7cd460b2e36621f07dde/following
我們要通過(guò)這個(gè)頁(yè)面，去抓取用戶的ID

得到ID之后，你才可以拼接出來(lái)下面的鏈接

https://juejin.im/user/用戶ID/following

爬蟲編寫

分析好了之后，就可以創(chuàng)建一個(gè)scrapy項(xiàng)目了

items.py 文件，用來(lái)限定我們需要的所有數(shù)據(jù)，注意到下面有個(gè)_id = scrapy.Field() 這個(gè)先預(yù)留好，是為了mongdb準(zhǔn)備的，其他的字段解釋請(qǐng)參照注釋即可。

class JuejinItem(scrapy.Item):

    _id = scrapy.Field()
    username = scrapy.Field()
    job = scrapy.Field()
    company =scrapy.Field()
    intro = scrapy.Field()
    # 專欄
    columns = scrapy.Field()
    # 沸點(diǎn)
    boiling = scrapy.Field()
    # 分享
    shares = scrapy.Field()
    # 贊
    praises = scrapy.Field()
    #
    books = scrapy.Field()
    # 關(guān)注了
    follow = scrapy.Field()
    # 關(guān)注者
    followers = scrapy.Field()
    goods = scrapy.Field()
    editer = scrapy.Field()
    reads = scrapy.Field()
    collections = scrapy.Field()
    tags = scrapy.Field()
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

編寫爬蟲主入口文件 JuejinspiderSpider.py

import scrapy
from scrapy.selector import Selector
from Juejin.items import JuejinItem

class JuejinspiderSpider(scrapy.Spider):
    name = 'JuejinSpider'
    allowed_domains = ['juejin.im']
    # 起始URL    5c0f372b5188255301746103
    start_urls = ['https://juejin.im/user/55fa7cd460b2e36621f07dde/following']

def parse 函數(shù)，邏輯不復(fù)雜，處理兩個(gè)業(yè)務(wù)即可

1. 返回item
2. 返回關(guān)注列表的Request

item的獲取，我們需要使用xpath匹配即可，為了簡(jiǎn)化代碼量，我編寫了一個(gè)提取方法，叫做get_default函數(shù)。

    def get_default(self,exts):
        if len(exts)>0:
            ret = exts[0]
        else:
            ret = 0
        return ret

    def parse(self, response):
        #base_data = response.body_as_unicode()
        select = Selector(response)
        item = JuejinItem()
        # 這個(gè)地方獲取一下數(shù)據(jù)
        item["username"] = select.xpath("http://h2[@class='username']/text()").extract()[0]
        position = select.xpath("http://div[@class='position']/span/span/text()").extract()
        if position:
            job = position[0]
            if len(position)>1:
                company = position[1]
            else:
                company = ""
        else:
            job = company = ""
        item["job"] = job
        item["company"] = company
        item["intro"] = self.get_default(select.xpath("http://div[@class='intro']/span/text()").extract())
        # 專欄
        item["columns"] = self.get_default(select.xpath("http://div[@class='header-content']/a[2]/div[2]/text()").extract())
        # 沸點(diǎn)
        item["boiling"] = self.get_default(select.xpath("http://div[@class='header-content']/a[3]/div[2]/text()").extract())
        # 分享
        item["shares"] = self.get_default(select.xpath("http://div[@class='header-content']/a[4]/div[2]/text()").extract())
        # 贊
        item["praises"] = self.get_default(select.xpath("http://div[@class='header-content']/a[5]/div[2]/text()").extract())
        #
        item["books"] = self.get_default(select.xpath("http://div[@class='header-content']/a[6]/div[2]/text()").extract())

        # 關(guān)注了
        item["follow"] = self.get_default(select.xpath("http://div[@class='follow-block block shadow']/a[1]/div[2]/text()").extract())
        # 關(guān)注者
        item["followers"] = self.get_default(select.xpath("http://div[@class='follow-block block shadow']/a[2]/div[2]/text()").extract())

        right = select.xpath("http://div[@class='stat-block block shadow']/div[2]/div").extract()
        if len(right) == 3:
            item["editer"] = self.get_default(select.xpath("http://div[@class='stat-block block shadow']/div[2]/div[1]/span/text()").extract())
            item["goods"] = self.get_default(select.xpath("http://div[@class='stat-block block shadow']/div[2]/div[2]/span/span/text()").extract())
            item["reads"] = self.get_default(select.xpath("http://div[@class='stat-block block shadow']/div[2]/div[3]/span/span/text()").extract())

        else:
            item["editer"] = ""
            item["goods"] = self.get_default(select.xpath("http://div[@class='stat-block block shadow']/div[2]/div[1]/span/span/text()").extract())
            item["reads"] = self.get_default(select.xpath("http://div[@class='stat-block block shadow']/div[2]/div[2]/span/span/text()").extract())

        item["collections"] = self.get_default(select.xpath("http://div[@class='more-block block']/a[1]/div[2]/text()").extract())
        item["tags"] = self.get_default(select.xpath("http://div[@class='more-block block']/a[2]/div[2]/text()").extract())
        yield item  # 返回item

上述代碼，已經(jīng)成功返回了item，打開(kāi)setting.py文件中的pipelines設(shè)置，測(cè)試一下是否可以存儲(chǔ)數(shù)據(jù),順便在
DEFAULT_REQUEST_HEADERS 配置一下request的請(qǐng)求參數(shù)。

setting.py

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    "Host": "juejin.im",
    "Referer": "https://juejin.im/timeline?sort=weeklyHottest",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 瀏覽器UA"
}

ITEM_PIPELINES = {
   'Juejin.pipelines.JuejinPipeline': 20,
}

本爬蟲數(shù)據(jù)存儲(chǔ)到mongodb里面，所以需要你在pipelines.py文件編寫存儲(chǔ)代碼。

import time
import pymongo

DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.jujin  # 準(zhǔn)備插入數(shù)據(jù)

class JuejinPipeline(object):

    def process_item(self, item, spider):
        try:
            collection.insert(item)
        except Exception as e:
            print(e.args)

運(yùn)行代碼之后，如果沒(méi)有報(bào)錯(cuò)，完善最后一步即可，在Spider里面將爬蟲的循環(huán)操作完成

      list_li = select.xpath("http://ul[@class='tag-list']/li")  # 獲取所有的關(guān)注
      for li in list_li:
           a_link = li.xpath(".//meta[@itemprop='url']/@content").extract()[0] # 獲取URL
             # 返回拼接好的數(shù)據(jù)請(qǐng)求
           yield scrapy.Request(a_link+"/following",callback=self.parse)
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

所有的代碼都已經(jīng)寫完啦

全站用戶爬蟲編寫完畢

擴(kuò)展方向

1. 爬蟲每次只爬取關(guān)注列表的第一頁(yè)，也可以循環(huán)下去，這個(gè)不麻煩
2. 在setting.py中開(kāi)啟多線程操作
3. 添加redis速度更快，后面會(huì)陸續(xù)的寫幾篇分布式爬蟲，提高爬取速度
4. 思路可以擴(kuò)展，N多網(wǎng)站的用戶爬蟲，咱后面也寫幾個(gè)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章名稱：Python爬蟲入門【20】：掘金網(wǎng)全站用戶爬蟲scrapy-創(chuàng)新互聯(lián)
本文URL：http://jinyejixie.com/article22/deohjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、品牌網(wǎng)站制作、網(wǎng)站維護(hù)、虛擬主機(jī)、面包屑導(dǎo)航、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)