成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

怎么使用mysql爬蟲 爬取數(shù)據(jù)到mysql

軟件“MySQL”應如何使用?

MySQL 使用方法簡單教程:

安澤ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景,ssl證書未來市場廣闊!成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:028-86922220(備注:SSL證書合作)期待與您的合作!

一、啟動MySQL服務器,實際上上篇已講到如何啟動MySQL。兩種方法:

(1)是用winmysqladmin,如果機器啟動時已自動運行,則可直接進入下一步操作。

(2)是在DOS方式下運行。d:/mysql/bin/mysqld

二、進入mysql交互操作界面,在DOS方式下,運行:

(1)d:/mysql/bin/mysql -u root -p出現(xiàn)提示符,此時已進入mysql的交互操作方式。

(2)如果出現(xiàn) "ERROR 2003: Can‘t connect to MySQL server on ‘localhost‘ (10061)“,說明你的MySQL還沒有啟動。

三、退出MySQL操作界面,在mysql提示符下輸入quit可以隨時退出交互操作界面:

(1)mysql quit

(2)Bye

(3)你也可以用control-D退出。

四、使用SHOW語句找出在服務器上當前存在什么數(shù)據(jù)庫:

mysql SHOW DATABASES;

+----------+

| Database |

+----------+

| mysql? |

| test?? |

+----------+

3 rows in set (0.00 sec)

五、創(chuàng)建一個數(shù)據(jù)庫abccs:

mysql CREATE DATABASE abccs;

注意不同操作系統(tǒng)對大小寫的敏感。

六、選擇你所創(chuàng)建的數(shù)據(jù)庫:

mysql USE abccs

Database changed

此時你已經(jīng)進入你剛才所建立的數(shù)據(jù)庫abccs.

一、MySQL安裝(Window7 安裝)

步驟1:在任何版本的 Windows 默認安裝是現(xiàn)在比以前要容易得多,MySQL巧妙地打包安裝程序。只需下載安裝包,隨地把它解壓縮,并運行 mysql.exe,這里點擊:DOWNLOAD 鏈接,進入一下頁面:

步驟2:這里點擊:DOWNLOAD 鏈接,進入一下頁面:

步驟3:這里要求注冊網(wǎng)站帳號,但可以直接通過。如上點擊 "No thanks, just start my download"

二、提示下載保存文件,下載完成后(本教程中下載完成的文件是:mysql-5.6.25-winx64.zip)解壓文件放到目錄:D:\software 下,這是一個免安裝包,這里不需要安裝步驟。

三、在本教程中MySQL執(zhí)行文件在:D:\software\mysql-5.6.25-winx64\bin, 它通過從命令提示符第一次進入測試MySQL服務器。轉到mysqld服務器的位置,這里進入 D:\software\mysql-5.6.25-winx64\bin,然后輸入mysqld.exe。

四、如果一切順利,會看到有關啟動和InnoDB一些消息。如果沒有看到,可能有權限問題。請確保保存數(shù)據(jù)的目錄可以訪問任何根據(jù)用戶(可能是MySQL)運行數(shù)據(jù)庫進程。

五、MySQL不會自己添加到開始菜單,并沒有特別漂亮的GUI的方式來停止服務器。 因此,如果傾向于通過雙擊可執(zhí)行 mysqld 啟動服務器,應該記住通過并用 mysqladmin,任務列表,任務管理器或其他 Windows 特定方式來執(zhí)行。

python爬蟲數(shù)據(jù)存到非本地mysql

pymysql 基本使用 八個步驟以及案例分析

一.導入pymysql模塊

導入pymysql之前需要先安裝pymysql模塊

方法一:直接在pycharm編譯器里面輸入 pip install pymysql

方法二:win+r -- 輸入cmd --在里面輸入pip install pymysql

ps:在cmd中輸入pip list后回車 可以找到安裝的pymysql就表示安裝成功了

1

2

3

4

5

6

1

2

3

4

5

6

在pycharm編譯器中導入

import pymysql

1

2

1

2

二.獲取到database的鏈接對象

coon = pymysql.connect(host='127.0.0.1', user='root', password='123456', database='pymysql_test')

1

1

user:是你的數(shù)據(jù)庫用戶名

password:數(shù)據(jù)庫密碼

database:你已經(jīng)創(chuàng)建好的數(shù)據(jù)庫

1

2

3

1

2

3

三.創(chuàng)建數(shù)據(jù)表的方法

cursor.execute(

'''create table if not exists pets(id int primary key auto_increment,

src varchar(50),

skill varchar(100)''')

1

2

3

4

1

2

3

4

四.獲取執(zhí)行sql語句的光標對象

cousor = coon.cousor()

1

1

五.定義要執(zhí)行的sql語句

1.sql的增加數(shù)據(jù)的方法

sql = '''insert into test_mysql(id,src,skill) values(%d,%s,%s)'''

1

1

ps: test_mysql 是你連接到的數(shù)據(jù)庫中的一張表

id,src,skill 這個是你創(chuàng)建表時所定義的字段關鍵字

%d,%s,%s 這個要根據(jù)你創(chuàng)建的字段關鍵字的類型而定,記住要一一對應

1

2

3

1

2

3

2.sql的刪除數(shù)據(jù)的方法

sql_1 = '''delete from test_mysql where src=%s;'''

1

1

3.sql的修改數(shù)據(jù)方法

sql_2 = '''update test_mysql set src=%s where skill=%s;'

1

1

4.sql的查詢方法

sql_3 = '''select * from test_mysql where skill = %s'''

1

1

六.通過光標對象執(zhí)行sql語句

1.執(zhí)行增加數(shù)據(jù)的sql語句

cousor.execute(sql, [2, '', '000000'])

運行后在mysql的可視化后臺就可以直觀的添加的數(shù)據(jù)

1

2

1

2

2.執(zhí)行刪除數(shù)據(jù)sql語句

new = ''

cousor.execute(sql_1, [new])

PS:這里就是根據(jù)sql語句where后面的條件進行刪除對應的數(shù)據(jù)

要記住傳入的數(shù)據(jù)要與sql的where后面條件匹配

1

2

3

4

1

2

3

4

3.執(zhí)行修改數(shù)據(jù)的sql語句

url = ''

pwd = '666666'

cousor.execute(sql_2,[pwd,url])

1

2

3

1

2

3

4.執(zhí)行查詢數(shù)據(jù)的sql語句

result1 = cousor.fetchone()

fetchone() 查詢=整個表中的第一條數(shù)據(jù),

如果再次使用就會查找到第二條數(shù)據(jù),

還可以在括號內(nèi)輸入id值查詢到相應的數(shù)據(jù)

result2 = cousor.fetchmany()

fetchmany()查詢到表里的多條數(shù)據(jù),

在括號里輸入幾就會查找到表的前幾條數(shù)據(jù)

result2 = cousor.fetchall()

fetchall()查詢到sql查詢匹配到的所有數(shù)據(jù)

print(result)

用print輸出語句就能直接打印輸出所查詢到的數(shù)據(jù)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

**總結: 在執(zhí)行sql語句要傳入?yún)?shù)時,這個參數(shù)要以列表或者元組的類型傳入**

1

1

七.關閉光標對象

cousor.close()

1

1

八.關閉數(shù)據(jù)庫的鏈接對象

coon.cousor()

1

1

九.洛克王國寵物數(shù)據(jù)抓取案例

import requests

import pymysql

from lxml import etree

from time import sleep

# 數(shù)據(jù)庫鏈接

conn = pymysql.connect(host='127.0.0.1', user='root', password='123456', database='pymysql')

cursor = conn.cursor()

# 執(zhí)行一條創(chuàng)建表的操作

cursor.execute(

'''create table if not exists pets(id int primary key auto_increment,name varchar(50),src varchar(100),industry text)''')

url = ''

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'

}

response = requests.get(url=url, headers=headers)

response.encoding = 'gbk'

html = response.text

# print(html)

# 寵物名稱

# 寵物圖片(圖片在 lz_src)

# 寵物技能(跳轉詳細頁)

tree = etree.HTML(html)

li_list = tree.xpath('//ul[@id="cwdz_list"]/li') # 所有的寵物

for li in li_list:

name = li.xpath('./@name')[0] # 每一個寵物的名稱

src = 'http:' + li.xpath('./a/img/@lz_src')[0] # 圖片鏈接

link = '' + li.xpath('./a/@href')[0] # 寵物的詳細鏈接

industry = [] # 數(shù)組里面存放每一個對象,每一個對象就是一個技能

# 對詳細鏈接發(fā)起請求,獲取技能

try:

detail_resp = requests.get(url=link, headers=headers)

sleep(0.5)

detail_resp.encoding = 'gbk'

detail_tree = etree.HTML(detail_resp.text)

# 技能

skills = detail_tree.xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[1]/table[4]/tbody/tr')

del skills[0]

del skills[0]

for skill in skills:

item = {}

item['name'] = skill.xpath('./td[1]/text()')[0] # 技能

item['grade'] = skill.xpath('./td[2]/text()')[0] # 等級

item['property'] = skill.xpath('./td[3]/text()')[0] # 屬性

item['type'] = skill.xpath('./td[4]/text()')[0] # 類型

item['target'] = skill.xpath('./td[5]/text()')[0] # 目標

item['power'] = skill.xpath('./td[6]/text()')[0] # 威力

item['pp'] = skill.xpath('./td[7]/text()')[0] # pp

item['result'] = skill.xpath('./td[8]/text()')[0] # 效果

industry.append(item)

# print(industry)

# 數(shù)據(jù)保存 (mysql)

sql = '''insert into pets(name,src,industry) values (%s,%s,%s);'''

cursor.execute(sql, [name, src, str(industry)])

conn.commit()

print(f'{name}--保存成功!')

except Exception as e:

pass

cursor.close()

conn.close()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

十.總結

本章內(nèi)容主要是給大家講解一下在爬蟲過程中如何將數(shù)據(jù)保存mysql數(shù)據(jù)庫中去,

最后面這個案例就是一個示范,希望這篇文章能給大家?guī)韼椭?都看到這里了給

個三連支持一下吧!!!

1

2

3

1

2

3

python爬蟲爬下來的數(shù)據(jù)怎么導入到MySQL

去裝一個 pymsql包

然后

import?pymysql??#導入pymsql模塊

#鏈接數(shù)據(jù)庫,注意port是int型,不是str,所以不要用引號

conn?=?pymysql.connect(

user='root',

password='root',

host='127.0.0.1',

port=3306,

database='test_demo',

use_unicode=True,

charset="utf8"

)

#獲取游標

cursor?=?conn.cursor()

#插入數(shù)據(jù),注意看有變量的時候格式

cursor.execute("INSERT?INTO?tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`)?VALUES?(%s,%s,%s,%s,%s,%s)",?(user_id,?user_name,?user_rank,?user_level,?level_statu,?tieba_name))

#提交

conn.commit()

#關閉連接

cursor.close()

類似這樣

mysql使用教程 mysql怎么使用

1、打開瀏覽器搜索“sqlyog”并下載這個客戶端軟件。

2、然后安裝之后打開客戶端軟件。

3、然后點擊“新建”新建一個連接,然后填寫mysql主機地址、用戶名、密碼,端口,然后點擊下面的連接。

4、然后在左側選擇自己要連接的數(shù)據(jù)庫。

5、然后在Query下面的空白地方輸寫自己的sql語句。

6、然后點擊如圖所示的圖標,進行執(zhí)行自己寫好的sql語句,就完成了sql的基本操作。

網(wǎng)站欄目:怎么使用mysql爬蟲 爬取數(shù)據(jù)到mysql
文章出自:http://jinyejixie.com/article12/ddoggdc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站制作、自適應網(wǎng)站響應式網(wǎng)站、做網(wǎng)站、小程序開發(fā)、云服務器

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設
贡嘎县| 韩城市| 甘泉县| 灵寿县| 潞城市| 黎平县| 石屏县| 中西区| 中西区| 敦煌市| 望谟县| 柘城县| 天长市| 竹北市| 大新县| 铅山县| 松江区| 大港区| 盐边县| 吉林市| 宣威市| 呼伦贝尔市| 安龙县| 灌南县| 白玉县| 天峻县| 友谊县| 武汉市| 叙永县| 韩城市| 谢通门县| 吉木萨尔县| 仲巴县| 大宁县| 三都| 蒙城县| 丁青县| 松潘县| 平昌县| 洪湖市| 桓台县|