閑暇寫一個(gè)外包網(wǎng)站的爬蟲，萬一你從這個(gè)外包網(wǎng)站弄點(diǎn)外快呢

創(chuàng)新互聯(lián)公司長期為數(shù)千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為泗陽企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站，泗陽網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

數(shù)據(jù)分析

官方網(wǎng)址為 https://www.clouderwork.com/

進(jìn)入全部項(xiàng)目列表頁面，很容易分辨出來項(xiàng)目的分頁方式

得到異步請求

Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
Request Method:GET
Status Code:200 OK

參數(shù)如下

    ts:1546395904852  # 時(shí)間戳
    keyword:   # 搜索關(guān)鍵字，查找全部，使用空即可
    budget_range:   # 暫時(shí)無用
    work_status:
    pagesize:20   # 每頁數(shù)據(jù)量
    pagenum:3   # 頁碼
    sort:1   # 排序規(guī)則
    scope:
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

下面就是拼接請求了，一下確定request相關(guān)參數(shù)

Accept:application/json, text/javascript, */*; q=0.01
Accept-Encoding:gzip, deflate, br
Accept-Language:zh-CN,zh;q=0.9
Connection:keep-alive
Cookie:
Host:www.clouderwork.com
Referer:https://www.clouderwork.com/jobs?keyword=
User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400
X-Requested-With:XMLHttpRequest

采用爬蟲scrapy
這個(gè)網(wǎng)站沒有反爬措施，所以直接上就可以了

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
import time
import json

class CloudeworkSpider(scrapy.Spider):
    name = 'cloudework'
    allowed_domains = ['www.clouderwork.com']
    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='

    def start_requests(self):
        for page in range(1,353):
            yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))

    def parse(self, response):
        json_data = json.loads(response.text)
        for item in  json_data["jobs"]:
            yield item

存儲(chǔ)數(shù)據(jù)到MongoDB中，合計(jì)爬取到7000+數(shù)據(jù)

數(shù)據(jù)分析

從mongdo讀取數(shù)據(jù)

import pymongo
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用來正常顯示中文標(biāo)簽
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負(fù)號(hào)
# 連接數(shù)據(jù)庫
client = pymongo.MongoClient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]

# 加載數(shù)據(jù)
data = DataFrame(list(collection.find()))

結(jié)果顯示為 [7032 rows x 35 columns]

查看數(shù)據(jù)基本情況

使用直接data.shape可以查看一下數(shù)據(jù)的基本情況

查看一下工期的分布

periods = data.groupby(["period"]).size()

x = periods.index 
y = periods.values 
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 繪制圖表
plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("項(xiàng)目數(shù)")
plt.show()

可以看到數(shù)據(jù)散點(diǎn)集中在0?50天

過濾一下40天以內(nèi)的數(shù)據(jù)

periods = data.groupby(["period"]).size().reset_index(name="count")

df = periods[periods["period"]<=40]

x = df["period"]
y = df["count"]

plt.figure()
plt.scatter(x,y,label='項(xiàng)目數(shù)折線',color="#ff44cc")
plt.title("工期對應(yīng)項(xiàng)目數(shù)")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()

發(fā)現(xiàn)竟然有1天工期的任務(wù)，可以瞅瞅都是什么任務(wù)

periods = data.groupby(["period"]).size()
data[data["period"]==1][["name","period"]]

果然比較簡單唉~~不過也沒有多少錢，有個(gè)急活1000￥

查看閱覽量排行Top10

views = data["views_count"]
top10 = views.sort_values(ascending=False)[:10]

top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]
top10
Python資源分享qun 784758214 ,內(nèi)有安裝包，PDF，學(xué)習(xí)視頻，這里是Python學(xué)習(xí)者的聚集地，零基礎(chǔ)，進(jìn)階，都?xì)g迎

查閱一下開發(fā)模式

看一下什么類型的項(xiàng)目比較多???數(shù)據(jù)上反應(yīng)，網(wǎng)絡(luò)網(wǎng)站和APP最多了，所以這方面的技能的大神么，可以沖一波了

網(wǎng)站欄目：Python爬蟲入門【23】：scrapy爬取云沃客項(xiàng)目外包網(wǎng)數(shù)據(jù)！
文章轉(zhuǎn)載：http://jinyejixie.com/article42/pdcjec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、定制開發(fā)、微信小程序、手機(jī)網(wǎng)站建設(shè)、電子商務(wù)、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)