python多線程的幾種方法

Python進(jìn)階(二十六)-多線程實(shí)現(xiàn)同步的四種方式

成都創(chuàng)新互聯(lián)于2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元南票做網(wǎng)站,已為上家服務(wù),為南票各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

臨界資源即那些一次只能被一個(gè)線程訪問(wèn)的資源，典型例子就是打印機(jī)，它一次只能被一個(gè)程序用來(lái)執(zhí)行打印功能，因?yàn)椴荒芏鄠€(gè)線程同時(shí)操作，而訪問(wèn)這部分資源的代碼通常稱之為臨界區(qū)。

鎖機(jī)制

threading的Lock類，用該類的acquire函數(shù)進(jìn)行加鎖，用realease函數(shù)進(jìn)行解鎖

import threadingimport timeclass Num:

def __init__(self):

self.num = 0

self.lock = threading.Lock() def add(self):

self.lock.acquire()#加鎖，鎖住相應(yīng)的資源

self.num += 1

num = self.num

self.lock.release()#解鎖，離開該資源

return num

n = Num()class jdThread(threading.Thread):

def __init__(self,item):

threading.Thread.__init__(self)

self.item = item def run(self):

time.sleep(2)

value = n.add()#將num加1，并輸出原來(lái)的數(shù)據(jù)和+1之后的數(shù)據(jù)

print(self.item,value)for item in range(5):

t = jdThread(item)

t.start()

t.join()#使線程一個(gè)一個(gè)執(zhí)行12345678910111213141516171819202122232425262728

當(dāng)一個(gè)線程調(diào)用鎖的acquire()方法獲得鎖時(shí)，鎖就進(jìn)入“l(fā)ocked”狀態(tài)。每次只有一個(gè)線程可以獲得鎖。如果此時(shí)另一個(gè)線程試圖獲得這個(gè)鎖，該線程就會(huì)變?yōu)椤癰locked”狀態(tài)，稱為“同步阻塞”（參見多線程的基本概念）。

直到擁有鎖的線程調(diào)用鎖的release()方法釋放鎖之后，鎖進(jìn)入“unlocked”狀態(tài)。線程調(diào)度程序從處于同步阻塞狀態(tài)的線程中選擇一個(gè)來(lái)獲得鎖，并使得該線程進(jìn)入運(yùn)行（running）狀態(tài)。

信號(hào)量

信號(hào)量也提供acquire方法和release方法，每當(dāng)調(diào)用acquire方法的時(shí)候，如果內(nèi)部計(jì)數(shù)器大于0，則將其減1，如果內(nèi)部計(jì)數(shù)器等于0，則會(huì)阻塞該線程，知道有線程調(diào)用了release方法將內(nèi)部計(jì)數(shù)器更新到大于1位置。

import threadingimport timeclass Num:

def __init__(self):

self.num = 0

self.sem = threading.Semaphore(value = 3) #允許最多三個(gè)線程同時(shí)訪問(wèn)資源

def add(self):

self.sem.acquire()#內(nèi)部計(jì)數(shù)器減1

self.num += 1

num = self.num

self.sem.release()#內(nèi)部計(jì)數(shù)器加1

return num

n = Num()class jdThread(threading.Thread):

def __init__(self,item):

threading.Thread.__init__(self)

self.item = item def run(self):

time.sleep(2)

value = n.add()

print(self.item,value)for item in range(100):

Python多線程總結(jié)

在實(shí)際處理數(shù)據(jù)時(shí)，因系統(tǒng)內(nèi)存有限，我們不可能一次把所有數(shù)據(jù)都導(dǎo)出進(jìn)行操作，所以需要批量導(dǎo)出依次操作。為了加快運(yùn)行，我們會(huì)采用多線程的方法進(jìn)行數(shù)據(jù)處理， 以下為我總結(jié)的多線程批量處理數(shù)據(jù)的模板：

主要分為三大部分：

共分4部分對(duì)多線程的內(nèi)容進(jìn)行總結(jié)。

先為大家介紹線程的相關(guān)概念:

在飛車程序中，如果沒(méi)有多線程，我們就不能一邊聽歌一邊玩飛車，聽歌與玩 游戲 不能并行；在使用多線程后，我們就可以在玩 游戲 的同時(shí)聽背景音樂(lè)。在這個(gè)例子中啟動(dòng)飛車程序就是一個(gè)進(jìn)程，玩 游戲 和聽音樂(lè)是兩個(gè)線程。

Python 提供了 threading 模塊來(lái)實(shí)現(xiàn)多線程:

因?yàn)樾陆ň€程系統(tǒng)需要分配資源、終止線程系統(tǒng)需要回收資源，所以如果可以重用線程，則可以減去新建/終止的開銷以提升性能。同時(shí)，使用線程池的語(yǔ)法比自己新建線程執(zhí)行線程更加簡(jiǎn)潔。

Python 為我們提供了 ThreadPoolExecutor 來(lái)實(shí)現(xiàn)線程池，此線程池默認(rèn)子線程守護(hù)。它的適應(yīng)場(chǎng)景為突發(fā)性大量請(qǐng)求或需要大量線程完成任務(wù)，但實(shí)際任務(wù)處理時(shí)間較短。

其中 max_workers 為線程池中的線程個(gè)數(shù)，常用的遍歷方法有 map 和 submit+as_completed 。根據(jù)業(yè)務(wù)場(chǎng)景的不同，若我們需要輸出結(jié)果按遍歷順序返回，我們就用 map 方法，若想誰(shuí)先完成就返回誰(shuí)，我們就用 submit+as_complete 方法。

我們把一個(gè)時(shí)間段內(nèi)只允許一個(gè)線程使用的資源稱為臨界資源，對(duì)臨界資源的訪問(wèn)，必須互斥的進(jìn)行?；コ?，也稱間接制約關(guān)系。線程互斥指當(dāng)一個(gè)線程訪問(wèn)某臨界資源時(shí)，另一個(gè)想要訪問(wèn)該臨界資源的線程必須等待。當(dāng)前訪問(wèn)臨界資源的線程訪問(wèn)結(jié)束，釋放該資源之后，另一個(gè)線程才能去訪問(wèn)臨界資源。鎖的功能就是實(shí)現(xiàn)線程互斥。

我把線程互斥比作廁所包間上大號(hào)的過(guò)程，因?yàn)榘g里只有一個(gè)坑，所以只允許一個(gè)人進(jìn)行大號(hào)。當(dāng)?shù)谝粋€(gè)人要上廁所時(shí)，會(huì)將門上上鎖，這時(shí)如果第二個(gè)人也想大號(hào)，那就必須等第一個(gè)人上完，將鎖解開后才能進(jìn)行，在這期間第二個(gè)人就只能在門外等著。這個(gè)過(guò)程與代碼中使用鎖的原理如出一轍，這里的坑就是臨界資源。 Python 的 threading 模塊引入了鎖。 threading 模塊提供了 Lock 類，它有如下方法加鎖和釋放鎖：

我們會(huì)發(fā)現(xiàn)這個(gè)程序只會(huì)打印“第一道鎖”，而且程序既沒(méi)有終止，也沒(méi)有繼續(xù)運(yùn)行。這是因?yàn)? Lock 鎖在同一線程內(nèi)第一次加鎖之后還沒(méi)有釋放時(shí)，就進(jìn)行了第二次 acquire 請(qǐng)求，導(dǎo)致無(wú)法執(zhí)行 release ，所以鎖永遠(yuǎn)無(wú)法釋放，這就是死鎖。如果我們使用 RLock 就能正常運(yùn)行，不會(huì)發(fā)生死鎖的狀態(tài)。

在主線程中定義 Lock 鎖，然后上鎖，再創(chuàng)建一個(gè)子 線程t 運(yùn)行 main 函數(shù)釋放鎖，結(jié)果正常輸出，說(shuō)明主線程上的鎖，可由子線程解鎖。

如果把上面的鎖改為 RLock 則報(bào)錯(cuò)。在實(shí)際中設(shè)計(jì)程序時(shí)，我們會(huì)將每個(gè)功能分別封裝成一個(gè)函數(shù)，每個(gè)函數(shù)中都可能會(huì)有臨界區(qū)域，所以就需要用到 RLock 。

一句話總結(jié)就是 Lock 不能套娃， RLock 可以套娃； Lock 可以由其他線程中的鎖進(jìn)行操作， RLock 只能由本線程進(jìn)行操作。

python之多線程

進(jìn)程的概念：以一個(gè)整體的形式暴露給操作系統(tǒng)管理，里面包含各種資源的調(diào)用。 對(duì)各種資源管理的集合就可以稱為進(jìn)程。

線程的概念：是操作系統(tǒng)能夠進(jìn)行運(yùn)算調(diào)度的最小單位。本質(zhì)上就是一串指令的集合。

進(jìn)程和線程的區(qū)別：

1、線程共享內(nèi)存空間，進(jìn)程有獨(dú)立的內(nèi)存空間。

2、線程啟動(dòng)速度快，進(jìn)程啟動(dòng)速度慢。注意：二者的運(yùn)行速度是無(wú)法比較的。

3、線程是執(zhí)行的指令集，進(jìn)程是資源的集合

4、兩個(gè)子進(jìn)程之間數(shù)據(jù)不共享，完全獨(dú)立。同一個(gè)進(jìn)程下的線程共享同一份數(shù)據(jù)。

5、創(chuàng)建新的線程很簡(jiǎn)單，創(chuàng)建新的進(jìn)程需要對(duì)他的父進(jìn)程進(jìn)行一次克隆。

6、一個(gè)線程可以操作（控制）同一進(jìn)程里的其他線程，但是進(jìn)程只能操作子進(jìn)程

7、同一個(gè)進(jìn)程的線程可以直接交流，兩個(gè)進(jìn)程想要通信，必須通過(guò)一個(gè)中間代理來(lái)實(shí)現(xiàn)。

8、對(duì)于線程的修改，可能會(huì)影響到其他線程的行為。但是對(duì)于父進(jìn)程的修改不會(huì)影響到子進(jìn)程。

第一個(gè)程序，使用循環(huán)來(lái)創(chuàng)建線程，但是這個(gè)程序中一共有51個(gè)線程，我們創(chuàng)建了50個(gè)線程，但是還有一個(gè)程序本身的線程，是主線程。這51個(gè)線程是并行的。注意：這個(gè)程序中是主線程啟動(dòng)了子線程。

相比上個(gè)程序，這個(gè)程序多了一步計(jì)算時(shí)間，但是我們觀察結(jié)果會(huì)發(fā)現(xiàn)，程序顯示的執(zhí)行時(shí)間只有0.007秒，這是因?yàn)樽詈笠粋€(gè)print函數(shù)它存在于主線程，而整個(gè)程序主線程和所有子線程是并行的，那么可想而知，在子線程還沒(méi)有執(zhí)行完畢的時(shí)候print函數(shù)就已經(jīng)執(zhí)行了，總的來(lái)說(shuō)，這個(gè)時(shí)間只是執(zhí)行了一個(gè)線程也就是主線程所用的時(shí)間。

接下來(lái)這個(gè)程序，吸取了上面這個(gè)程序的缺點(diǎn)，創(chuàng)建了一個(gè)列表，把所有的線程實(shí)例都存進(jìn)去，然后使用一個(gè)for循環(huán)依次對(duì)線程實(shí)例調(diào)用join方法，這樣就可以使得主線程等待所創(chuàng)建的所有子線程執(zhí)行完畢才能往下走。 注意實(shí)驗(yàn)結(jié)果：和兩個(gè)線程的結(jié)果都是兩秒多一點(diǎn)

注意觀察實(shí)驗(yàn)結(jié)果，并沒(méi)有執(zhí)行打印task has done，并且程序執(zhí)行時(shí)間極其短。

這是因?yàn)樵谥骶€程啟動(dòng)子線程前把子線程設(shè)置為守護(hù)線程。

只要主線程執(zhí)行完畢，不管子線程是否執(zhí)行完畢，就結(jié)束。但是會(huì)等待非守護(hù)線程執(zhí)行完畢

主線程退出，守護(hù)線程全部強(qiáng)制退出?；实鬯懒?，仆人也跟著殉葬

應(yīng)用的場(chǎng)景 ： socket-server

注意：gil只是為了減低程序開發(fā)復(fù)雜度。但是在2.幾的版本上，需要加用戶態(tài)的鎖（gil的缺陷）而在3點(diǎn)幾的版本上，加鎖不加鎖都一樣。

下面這個(gè)程序是一個(gè)典型的生產(chǎn)者消費(fèi)者模型。

生產(chǎn)者消費(fèi)者模型是經(jīng)典的在開發(fā)架構(gòu)中使用的模型

運(yùn)維中的集群就是生產(chǎn)者消費(fèi)者模型，生活中很多都是

那么，多線程的使用場(chǎng)景是什么？

python中的多線程實(shí)質(zhì)上是對(duì)上下文的不斷切換，可以說(shuō)是假的多線程。而我們知道，io操作不占用cpu，計(jì)算占用cpu，那么python的多線程適合io操作密集的任務(wù)，比如socket-server，那么cpu密集型的任務(wù)，python怎么處理？python可以折中的利用計(jì)算機(jī)的多核：?jiǎn)?dòng)八個(gè)進(jìn)程，每個(gè)進(jìn)程有一個(gè)線程。這樣就可以利用多進(jìn)程解決多核問(wèn)題。

網(wǎng)站標(biāo)題：python多線程類函數(shù) Python多線程編程
文章源于：http://jinyejixie.com/article6/hpcpig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、商城網(wǎng)站、微信公眾號(hào)、云服務(wù)器、App開發(fā)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)