成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)

這篇文章主要介紹了Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象的相關(guān)知識(shí),內(nèi)容詳細(xì)易懂,操作簡單快捷,具有一定借鑒價(jià)值,相信大家閱讀完這篇Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象文章都會(huì)有所收獲,下面我們一起來看看吧。

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比雨花臺(tái)網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式雨花臺(tái)網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋雨花臺(tái)地區(qū)。費(fèi)用合理售后完善,十多年實(shí)體公司更值得信賴。

直接上代碼:

from multiprocessing import Process, Lock

err_file = 'error1.log'  

err_fd = open(err_file, 'w')

 

def put(fd):

     print "PUT"

     fd.write("hello, func put writen")

     print "END"

 

if __name__=='__main__':

    p_list=[]

    for i in range(1):

        p_list.append(Process(target=put, args=(err_fd,)))    

    for p in p_list:

        p.start()

    for p in p_list:

        p.join()

上面的代碼意圖很清晰: 通過multiprocessing.Process派生一個(gè)進(jìn)程, 去執(zhí)行put函數(shù), put函數(shù)的作用也是很清楚, 輸出PUT和END, 并且將”hello, func put write” 寫到文件error1.log中.

那么按理說, 輸出應(yīng)該如同上面說的那樣, PUT和END,然后error1.log將有那句話”hello, func put write”, 然而, 世事總有那么點(diǎn)難料的, 代碼執(zhí)行結(jié)果是:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

[root@iZ23pynfq19Z ~]#

what!? 為什么error1.log沒東西 !?

讓我們稍微調(diào)整下代碼, 再見證神奇的事情:

from multiprocessing import Process, Lock

err_file = 'error1.log'  

err_fd = open(err_file, 'w')

 

def put(fd):

     print "PUT"

     fd.write("hello, func put writen")

     fd.write("o" * 4075) # 神奇的一行

     print "END"

 

if __name__=='__main__':

    p_list=[]

    for i in range(1):

        p_list.append(Process(target=put, args=(err_fd,)))    for p in p_list:

        p.start()

    for p in p_list:

        p.join()

輸出結(jié)果:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

hello, func put write

o....(有4075個(gè))

[root@iZ23pynfq19Z ~]#

有沒有覺得一種懵逼的感覺!?

如今, 心中涌現(xiàn)兩個(gè)問題:

  1. 為什么第一個(gè)程序無法寫入那句話 , 但是第二個(gè)卻可以?

  2. 那個(gè)4075是什么鬼?

在解釋這些問題之前, 我們需要清楚標(biāo)準(zhǔn)IO庫所具有的特點(diǎn): 全緩沖, 行緩沖, 不緩沖

具體可以看之前博文:/tupian/20230522/LinBigR 因?yàn)楝F(xiàn)在是寫入文件, 所以系統(tǒng)IO將采用全緩沖的方式, 也就是說, 會(huì)將緩沖區(qū)填滿才刷入系統(tǒng)寫隊(duì)列.

所以上面的問題就一下子全解決了, 正因?yàn)槟切?迷一般的 ‘o’,填滿了整個(gè)緩沖區(qū), 所以系統(tǒng)將我們的內(nèi)容刷進(jìn)去寫隊(duì)列,所以4075怎么來, 就是用4096-sizeof(“hello, func put writen”)+1, 為什么要+1, 因?yàn)榫彌_區(qū)滿還不行, 要大于才能觸發(fā)寫動(dòng)作.

所以我們現(xiàn)在已經(jīng)能夠得出答案, 如果我們想要在multiprcessing.Process中, 用上面類似的方式去寫文件時(shí),有三種方法去實(shí)現(xiàn):

  1. 寫滿緩沖區(qū)

  2. 手動(dòng)調(diào)用flush()

  3. 將文件對象設(shè)置成不緩沖

第一第二種在上面已經(jīng)闡述, 那我們簡單講下第三種:

取自Python官網(wǎng)Document:

open(name[, mode[, buffering]])

  ...

  The optional buffering argument specifies the file’s desired buffer size: 0 means unbuffered,

  1 means line buffered, any other positive value means use a buffer of (approximately) that

  size (in bytes). A negative buffering means to use the system default, which is usually line

  buffered for tty devices and fully buffered for other files. If omitted, the system default is

  used. [2]

上圖說明就是, 允許我們在open的時(shí)候, 設(shè)置buffering為0, 那么就是unbuffered模式, 那么在每次寫, 就是直接寫入寫隊(duì)列,而不是寫到緩沖區(qū).(性能最低的方式)

————————————————我是切割線———————————————-

談?wù)撏戡F(xiàn)象和處理的方法, 我們應(yīng)該來點(diǎn)深入的;

相信我們曾經(jīng)試過, 在沒有顯示關(guān)閉文件對象或者顯示調(diào)用flush時(shí), 文件依舊能夠正常寫入,那么又是怎么一回事呢?

其實(shí),在我們正常關(guān)閉程序時(shí), 進(jìn)程在退出將會(huì)為我們做一些”手尾”, 例如關(guān)閉打開的文件描述符, 清理臨時(shí)文件,清理內(nèi)存等等.正是因?yàn)橄到y(tǒng)的這種”好習(xí)慣”, 所以我們的數(shù)據(jù)在文件描述符關(guān)閉時(shí),就能刷入寫隊(duì)列,文件內(nèi)容也不會(huì)丟失.

那么基于這種認(rèn)識(shí),我們再回首剛才的問題, 在子進(jìn)程調(diào)用put的時(shí)候, 理論上在程序退出時(shí), 并沒顯示關(guān)閉文件描述符, 所以數(shù)據(jù)在緩沖區(qū)就丟失了.

讓我們在順藤摸瓜,看Process的實(shí)現(xiàn)

multiprocessing/Processing.py

    def start(self):

        '''

        Start child process

        '''

        assert self._popen is None, 'cannot start a process twice'

        assert self._parent_pid == os.getpid(),

               'can only start a process object created by current process'

        assert not _current_process._daemonic,

               'daemonic processes are not allowed to have children'

        _cleanup()

        if self._Popen is not None:

            Popen = self._Popen

        else:

            from .forking import Popen

        self._popen = Popen(self)

        _current_process._children.add(self)

再看下Popn是怎么做?

multiprocessing/forking.py

    class Popen(object):

 

        def __init__(self, process_obj):

            sys.stdout.flush()

            sys.stderr.flush()

            self.returncode = None

 

            self.pid = os.fork()

            if self.pid == 0:

                if 'random' in sys.modules:

                    import random

                    random.seed()

                code = process_obj._bootstrap()

                sys.stdout.flush()

                sys.stderr.flush()

                os._exit(code)

關(guān)鍵地方就是最后的 os._exit(code), 為什么說最關(guān)鍵? 因?yàn)檫@部分的退出, 將決定進(jìn)程會(huì)處理什么”手尾”,

os._exit是什么鬼?  其實(shí)就是標(biāo)準(zhǔn)庫的_eixt, 于是我們又能簡單學(xué)習(xí)這東西了

/tupian/20230522/LinBigR 在上面的鏈接, 我們能夠比較清楚看到 _exit() 和exit() 是比較不同的兩個(gè)東西, _exit()  簡單暴力, 直接丟棄用戶態(tài)的內(nèi)容,進(jìn)入內(nèi)核, 而exit()則比較耐心地為我們清理

那么我們是否能夠假設(shè): 如果Popen的退出不是os._exit() 會(huì)是怎樣的效果呢?廈門叉車租賃公司

很幸運(yùn)的是, sys.exit() 就是我們先要的exit(), 事不宜遲, 趕緊試下!

multiprocessing/forking.py

    class Popen(object):

 

        def __init__(self, process_obj):

            sys.stdout.flush()

            sys.stderr.flush()

            self.returncode = None

 

            self.pid = os.fork()

            if self.pid == 0:

                if 'random' in sys.modules:

                    import random

                    random.seed()

                code = process_obj._bootstrap()

                sys.stdout.flush()

                sys.stderr.flush()

                #os._exit(code)

                sys.exit(code)

測試代碼, 返回最原始那個(gè)沒有’o’填充的版本

[root@iZ23pynfq19Z ~]# python 2.py ; cat error1.log

PUT

END

hello, func put write

我們可以看到, 確實(shí)是可以寫進(jìn)去, 這樣就證明上面的說法是站得住腳步的

關(guān)于“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對“Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象”知識(shí)都有一定的了解,大家如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

當(dāng)前名稱:Python怎么實(shí)現(xiàn)父子進(jìn)程共享文件對象-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址:http://jinyejixie.com/article2/pedic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作移動(dòng)網(wǎng)站建設(shè)、域名注冊、定制開發(fā)服務(wù)器托管、網(wǎng)站改版

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計(jì)
丘北县| 探索| 历史| 英超| 乡宁县| 方正县| 和顺县| 辽源市| 桦南县| 镇坪县| 天峨县| 河北省| 安多县| 桦南县| 天峨县| 萍乡市| 内江市| 五寨县| 弋阳县| 墨江| 邓州市| 乡宁县| 贵溪市| 开江县| 隆林| 大同县| 无锡市| 江山市| 东源县| 四川省| 喜德县| 潞西市| 河源市| 灵宝市| 句容市| 朝阳市| 白沙| 泸定县| 安吉县| 尚义县| 达州市|