這篇文章主要介紹了Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象的相關(guān)知識(shí),內(nèi)容詳細(xì)易懂,操作簡單快捷,具有一定借鑒價(jià)值,相信大家閱讀完這篇Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象文章都會(huì)有所收獲,下面我們一起來看看吧。
創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比雨花臺(tái)網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式雨花臺(tái)網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋雨花臺(tái)地區(qū)。費(fèi)用合理售后完善,十多年實(shí)體公司更值得信賴。直接上代碼:
from multiprocessing import Process, Lock err_file = 'error1.log' err_fd = open(err_file, 'w')
def put(fd): print "PUT" fd.write("hello, func put writen") print "END"
if __name__=='__main__': p_list=[] for i in range(1): p_list.append(Process(target=put, args=(err_fd,))) for p in p_list: p.start() for p in p_list: p.join() |
上面的代碼意圖很清晰: 通過multiprocessing.Process派生一個(gè)進(jìn)程, 去執(zhí)行put函數(shù), put函數(shù)的作用也是很清楚, 輸出PUT和END, 并且將”hello, func put write” 寫到文件error1.log中.
那么按理說, 輸出應(yīng)該如同上面說的那樣, PUT和END,然后error1.log將有那句話”hello, func put write”, 然而, 世事總有那么點(diǎn)難料的, 代碼執(zhí)行結(jié)果是:
[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log PUT END [root@iZ23pynfq19Z ~]# |
what!? 為什么error1.log沒東西 !?
讓我們稍微調(diào)整下代碼, 再見證神奇的事情:
from multiprocessing import Process, Lock err_file = 'error1.log' err_fd = open(err_file, 'w')
def put(fd): print "PUT" fd.write("hello, func put writen") fd.write("o" * 4075) # 神奇的一行 print "END"
if __name__=='__main__': p_list=[] for i in range(1): p_list.append(Process(target=put, args=(err_fd,))) for p in p_list: p.start() for p in p_list: p.join() |
輸出結(jié)果:
[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log PUT END hello, func put write o....(有4075個(gè)) [root@iZ23pynfq19Z ~]# |
有沒有覺得一種懵逼的感覺!?
如今, 心中涌現(xiàn)兩個(gè)問題:
為什么第一個(gè)程序無法寫入那句話 , 但是第二個(gè)卻可以?
那個(gè)4075是什么鬼?
在解釋這些問題之前, 我們需要清楚標(biāo)準(zhǔn)IO庫所具有的特點(diǎn): 全緩沖, 行緩沖, 不緩沖
具體可以看之前博文:/tupian/20230522/LinBigR 因?yàn)楝F(xiàn)在是寫入文件, 所以系統(tǒng)IO將采用全緩沖的方式, 也就是說, 會(huì)將緩沖區(qū)填滿才刷入系統(tǒng)寫隊(duì)列.
所以上面的問題就一下子全解決了, 正因?yàn)槟切?迷一般的 ‘o’,填滿了整個(gè)緩沖區(qū), 所以系統(tǒng)將我們的內(nèi)容刷進(jìn)去寫隊(duì)列,所以4075怎么來, 就是用4096-sizeof(“hello, func put writen”)+1, 為什么要+1, 因?yàn)榫彌_區(qū)滿還不行, 要大于才能觸發(fā)寫動(dòng)作.
所以我們現(xiàn)在已經(jīng)能夠得出答案, 如果我們想要在multiprcessing.Process中, 用上面類似的方式去寫文件時(shí),有三種方法去實(shí)現(xiàn):
寫滿緩沖區(qū)
手動(dòng)調(diào)用flush()
將文件對象設(shè)置成不緩沖
第一第二種在上面已經(jīng)闡述, 那我們簡單講下第三種:
取自Python官網(wǎng)Document: open(name[, mode[, buffering]]) ... The optional buffering argument specifies the file’s desired buffer size: 0 means unbuffered, 1 means line buffered, any other positive value means use a buffer of (approximately) that size (in bytes). A negative buffering means to use the system default, which is usually line buffered for tty devices and fully buffered for other files. If omitted, the system default is used. [2] |
上圖說明就是, 允許我們在open的時(shí)候, 設(shè)置buffering為0, 那么就是unbuffered模式, 那么在每次寫, 就是直接寫入寫隊(duì)列,而不是寫到緩沖區(qū).(性能最低的方式)
————————————————我是切割線———————————————-
談?wù)撏戡F(xiàn)象和處理的方法, 我們應(yīng)該來點(diǎn)深入的;
相信我們曾經(jīng)試過, 在沒有顯示關(guān)閉文件對象或者顯示調(diào)用flush時(shí), 文件依舊能夠正常寫入,那么又是怎么一回事呢?
其實(shí),在我們正常關(guān)閉程序時(shí), 進(jìn)程在退出將會(huì)為我們做一些”手尾”, 例如關(guān)閉打開的文件描述符, 清理臨時(shí)文件,清理內(nèi)存等等.正是因?yàn)橄到y(tǒng)的這種”好習(xí)慣”, 所以我們的數(shù)據(jù)在文件描述符關(guān)閉時(shí),就能刷入寫隊(duì)列,文件內(nèi)容也不會(huì)丟失.
那么基于這種認(rèn)識(shí),我們再回首剛才的問題, 在子進(jìn)程調(diào)用put的時(shí)候, 理論上在程序退出時(shí), 并沒顯示關(guān)閉文件描述符, 所以數(shù)據(jù)在緩沖區(qū)就丟失了.
讓我們在順藤摸瓜,看Process的實(shí)現(xiàn)
multiprocessing/Processing.py def start(self): ''' Start child process ''' assert self._popen is None, 'cannot start a process twice' assert self._parent_pid == os.getpid(), 'can only start a process object created by current process' assert not _current_process._daemonic, 'daemonic processes are not allowed to have children' _cleanup() if self._Popen is not None: Popen = self._Popen else: from .forking import Popen self._popen = Popen(self) _current_process._children.add(self) |
再看下Popn是怎么做?
multiprocessing/forking.py class Popen(object):
def __init__(self, process_obj): sys.stdout.flush() sys.stderr.flush() self.returncode = None
self.pid = os.fork() if self.pid == 0: if 'random' in sys.modules: import random random.seed() code = process_obj._bootstrap() sys.stdout.flush() sys.stderr.flush() os._exit(code) |
關(guān)鍵地方就是最后的 os._exit(code), 為什么說最關(guān)鍵? 因?yàn)檫@部分的退出, 將決定進(jìn)程會(huì)處理什么”手尾”,
os._exit是什么鬼? 其實(shí)就是標(biāo)準(zhǔn)庫的_eixt, 于是我們又能簡單學(xué)習(xí)這東西了
/tupian/20230522/LinBigR 在上面的鏈接, 我們能夠比較清楚看到 _exit() 和exit() 是比較不同的兩個(gè)東西, _exit() 簡單暴力, 直接丟棄用戶態(tài)的內(nèi)容,進(jìn)入內(nèi)核, 而exit()則比較耐心地為我們清理
那么我們是否能夠假設(shè): 如果Popen的退出不是os._exit() 會(huì)是怎樣的效果呢?廈門叉車租賃公司
很幸運(yùn)的是, sys.exit() 就是我們先要的exit(), 事不宜遲, 趕緊試下!
multiprocessing/forking.py class Popen(object):
def __init__(self, process_obj): sys.stdout.flush() sys.stderr.flush() self.returncode = None
self.pid = os.fork() if self.pid == 0: if 'random' in sys.modules: import random random.seed() code = process_obj._bootstrap() sys.stdout.flush() sys.stderr.flush() #os._exit(code) sys.exit(code) |
測試代碼, 返回最原始那個(gè)沒有’o’填充的版本
[root@iZ23pynfq19Z ~]# python 2.py ; cat error1.log PUT END hello, func put write |
我們可以看到, 確實(shí)是可以寫進(jìn)去, 這樣就證明上面的說法是站得住腳步的
關(guān)于“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象”知識(shí)都有一定的了解,大家如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
當(dāng)前名稱:Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址:http://jinyejixie.com/article2/pedic.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作、移動(dòng)網(wǎng)站建設(shè)、域名注冊、定制開發(fā)、服務(wù)器托管、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容