用爬蟲從網站爬下的數據怎么存儲？

顯然不能直接儲存，你還得解析出自己需要的內容。

創(chuàng)新互聯堅持“要么做到，要么別承諾”的工作理念，服務領域包括：做網站、成都網站設計、企業(yè)官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯網時代的泗陽網站設計、移動媒體設計的需求，幫助企業(yè)找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

比如我爬取某新聞網今日的國內新聞，那么我創(chuàng)建一個實體類，里面有屬性：新聞標題，新聞時間，正文等等。解析出你需要的內容，封到實體里面，然后在dao層直接save到數據庫即可

如果你爬下的是整個網頁，這個好辦，把它當做文件一樣，用流操作保存到電腦上即可。緩橘當然保存網頁攜局會遇到編碼問題，這個很棘手辯哪讓。

python爬蟲數據存到非本地mysql

pymysql 基本使用 八個步驟以及案例分析

一.導入pymysql模塊

導入pymysql之前需要先安裝pymysql模塊

方法一:直接在pycharm編譯器里面輸入 pip install pymysql

方法二:win+r -- 輸入cmd --在里面輸入pip install pymysql

ps:在cmd中輸入pip list后回車 可以找到安裝的pymysql就表示安裝成功了

1

2

3

4

5

6

1

2

3

4

5

6

在pycharm編譯器中導入

import pymysql

1

2

1

2

二.獲取到database的鏈接對象

coon = pymysql.connect(host='127.0.0.1', user='root', password='123456', database='pymysql_test')

1

1

user:是你的數據庫用戶名

password:數據庫密碼

database:你已經創(chuàng)建好的數據庫

1

2

3

1

2

3

三.創(chuàng)建數據表的方法

cursor.execute(

'''create table if not exists pets(id int primary key auto_increment,

src varchar(50),

skill varchar(100)''')

1

2

3

4

1

2

3

4

四.獲取執(zhí)行sql語句的光標對象

cousor = coon.cousor()

1

1

五.定義要執(zhí)行的sql語句

1.sql的增加數據的方法

sql = '''insert into test_mysql(id,src,skill) values(%d,%s,%s)'''

1

1

ps: test_mysql 是你連接到的數據庫中的一張表

id,src,skill 這個是你創(chuàng)建表時所定義的字段關鍵字

%d,%s,%s 這個要根據你創(chuàng)建的字段關鍵字的類型而定,記住要一一對應

1

2

3

1

2

3

2.sql的刪除數據的方法

sql_1 = '''delete from test_mysql where src=%s;'''

1

1

3.sql的修改數據方法

sql_2 = '''update test_mysql set src=%s where skill=%s;'

1

1

4.sql的查詢方法

sql_3 = '''select * from test_mysql where skill = %s'''

1

1

六.通過光標對象執(zhí)行sql語句

1.執(zhí)行增加數據的sql語句

cousor.execute(sql, [2, '', '000000'])

運行后在mysql的可視化后臺就可以直觀的添加的數據

1

2

1

2

2.執(zhí)行刪除數據sql語句

new = ''

cousor.execute(sql_1, [new])

PS:這里就是根據sql語句where后面的旅慶肢條件進行刪除對應的數據

要記住傳入的數據要與sql的where后面條件匹配

1

2

3

4

1

2

3

4

3.執(zhí)行修改數據的sql語句

url = ''

pwd = '666666'

cousor.execute(sql_2,[pwd,url])

1

2

3

1

2

3

4.執(zhí)行查詢數據的sql語句

result1 = cousor.fetchone()

fetchone() 查詢=整個表中的第一條數據,

如果再次使用就會查找到第二條數據,

還可以在括號內輸入id值查詢到相應的數據

result2 = cousor.fetchmany()

fetchmany()查詢到表里的多條數據,

在括號里輸入幾就會查找到表的前幾條數據

result2 = cousor.fetchall()

fetchall()查詢到差局sql查詢匹配到的所拆世有數據

print(result)

用print輸出語句就能直接打印輸出所查詢到的數據

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

**總結: 在執(zhí)行sql語句要傳入參數時,這個參數要以列表或者元組的類型傳入**

1

1

七.關閉光標對象

cousor.close()

1

1

八.關閉數據庫的鏈接對象

coon.cousor()

1

1

九.洛克王國寵物數據抓取案例

import requests

import pymysql

from lxml import etree

from time import sleep

# 數據庫鏈接

conn = pymysql.connect(host='127.0.0.1', user='root', password='123456', database='pymysql')

cursor = conn.cursor()

# 執(zhí)行一條創(chuàng)建表的操作

cursor.execute(

'''create table if not exists pets(id int primary key auto_increment,name varchar(50),src varchar(100),industry text)''')

url = ''

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'

}

response = requests.get(url=url, headers=headers)

response.encoding = 'gbk'

html = response.text

# print(html)

# 寵物名稱

# 寵物圖片(圖片在 lz_src)

# 寵物技能(跳轉詳細頁)

tree = etree.HTML(html)

li_list = tree.xpath('//ul[@id="cwdz_list"]/li') # 所有的寵物

for li in li_list:

name = li.xpath('./@name')[0] # 每一個寵物的名稱

src = 'http:' + li.xpath('./a/img/@lz_src')[0] # 圖片鏈接

link = '' + li.xpath('./a/@href')[0] # 寵物的詳細鏈接

industry = [] # 數組里面存放每一個對象,每一個對象就是一個技能

# 對詳細鏈接發(fā)起請求,獲取技能

try:

detail_resp = requests.get(url=link, headers=headers)

sleep(0.5)

detail_resp.encoding = 'gbk'

detail_tree = etree.HTML(detail_resp.text)

# 技能

skills = detail_tree.xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[1]/table[4]/tbody/tr')

del skills[0]

del skills[0]

for skill in skills:

item = {}

item['name'] = skill.xpath('./td[1]/text()')[0] # 技能

item['grade'] = skill.xpath('./td[2]/text()')[0] # 等級

item['property'] = skill.xpath('./td[3]/text()')[0] # 屬性

item['type'] = skill.xpath('./td[4]/text()')[0] # 類型

item['target'] = skill.xpath('./td[5]/text()')[0] # 目標

item['power'] = skill.xpath('./td[6]/text()')[0] # 威力

item['pp'] = skill.xpath('./td[7]/text()')[0] # pp

item['result'] = skill.xpath('./td[8]/text()')[0] # 效果

industry.append(item)

# print(industry)

# 數據保存 (mysql)

sql = '''insert into pets(name,src,industry) values (%s,%s,%s);'''

cursor.execute(sql, [name, src, str(industry)])

conn點抗 mit()

print(f'{name}--保存成功!')

except Exception as e:

pass

cursor.close()

conn.close()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

十.總結

本章內容主要是給大家講解一下在爬蟲過程中如何將數據保存mysql數據庫中去,

最后面這個案例就是一個示范,希望這篇文章能給大家?guī)韼椭?都看到這里了給

個三連支持一下吧!!!

1

2

3

1

2

3

網絡爬蟲的存儲方法――數據庫，有什么作用

可以用來保存采集到的數據啊。

簡單來講，爬蟲就是一個探測純大機器，它的基本操作就是模擬人的行為去各個網拿或站溜達，點點按鈕，查查數據，或者把看到的信息背回來。就像一只蟲子在一幢樓里不知疲倦地爬來爬做敏豎去。

網站欄目：php爬蟲數據如何存儲 爬蟲的數據怎么存數據庫
路徑分享：http://jinyejixie.com/article24/ddpeije.html

成都網站建設公司_創(chuàng)新互聯，為您提供服務器托管、外貿網站建設、搜索引擎優(yōu)化、Google、響應式網站、網站設計公司

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯