python stdin 為pipe什么意思

Linux中進程的通信方式有信號，管道，共享內(nèi)存，消息隊列socket等。其中管道是*nix系統(tǒng)進程間通信的最古老形式，所有*nix都提供這種通信方式。管道是一種半雙工的通信機制，也就是說，它只能一端用來讀，另外一端用來寫；另外，管道只能用來在具有公共祖先的兩個進程之間通信。管道通信遵循先進先出的原理，并且數(shù)據(jù)只能被讀取一次，當此段數(shù)據(jù)被讀取后，馬上會從數(shù)據(jù)中消失，這一點很重要。

專注于為中小企業(yè)提供成都網(wǎng)站制作、成都網(wǎng)站設計服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)瓊中黎族免費做網(wǎng)站提供優(yōu)質(zhì)的服務。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了千余家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

Linux上，創(chuàng)建管道使用pipe函數(shù)，當它執(zhí)行后，會產(chǎn)生兩個文件描述符，分別為讀端和寫端。單個進程中的管道幾乎沒有任何作用，通常會先調(diào)用pipe，然后調(diào)用fork，從而創(chuàng)建從父進程到子進程的IPC通道。

Linux中，我們經(jīng)常會使用到管道，例如用cat命令查看一個大文件時，一頁不能全部顯示，我們可以通過cat xxx | more來分頁顯示，又比如搜索文件里的內(nèi)容可以用 cat xxx | grep search來進行，這里我們都用到了管道。接下來我會用python編寫一段自動分頁顯示的程序，而不用手動來使用管道。

#!/usr/bin/env python

import os,sys

if not sys.argv[1:]:

print "No filename input"

sys.exit(1)

try:

fp = open(sys.argv[1],"r")

except IOError,msg:

sys.exit(msg)

pi=os.pipe()

pid=os.fork()

if pid:

#parent

os.close(pi[0]) #close read pipe

#write to pipe

line=fp.readline()

while line:

os.write(pi[1],line)

line=fp.readline()

#close write pipe

os.close(pi[1])

#wait for chile

os.waitpid(pid,0)

else:

os.close(pi[1]) #close write pipe

#put pipe read to stdin

os.dup2(pi[0],sys.stdin.fileno())

os.close(pi[0])

os.execl("/bin/more","more")

把這段代碼存為scat.py，增加執(zhí)行權(quán)限之后，運行 scat.py 文件名，系統(tǒng)就會自動讀取文件的內(nèi)容并分頁，與使用 cat 文件名 | more 的效果是一模一樣的。在上面的代碼中，用到了前幾篇博客中說的fork，dup2和exec系列函數(shù)。

python編程中 os.mkfifo()和os.mknod()函數(shù)具體用法？最好有例子，里面參數(shù)具體怎么配置就能創(chuàng)建管道或節(jié)

mkfifo函數(shù)使用

[code]mkfifo（建立實名管道）

相關(guān)函數(shù)

pipe，popen，open，umask

表頭文件

#include

#include

定義函數(shù)

int mkfifo(const char * pathname,mode_t mode);

函數(shù)說明

mkfifo() 會依參數(shù)pathname建立特殊的FIFO文件，該文件必須不存在，而參數(shù)mode為該文件的權(quán)限（mode%~umask），因此 umask值也會影響到FIFO文件的權(quán)限。Mkfifo()建立的FIFO文件其他進程都可以用讀寫一般文件的方式存取。當使用open()來打開 FIFO文件時，O_NONBLOCK旗標會有影響

1、當使用O_NONBLOCK 旗標時，打開FIFO 文件來讀取的操作會立刻返回，但是若還沒有其他進程打開FIFO 文件來讀取，則寫入的操作會返回ENXIO 錯誤代碼。

2、沒有使用O_NONBLOCK 旗標時，打開FIFO 來讀取的操作會等到其他進程打開FIFO文件來寫入才正常返回。同樣地，打開FIFO文件來寫入的操作會等到其他進程打開FIFO 文件來讀取后才正常返回。

返回值

若成功則返回0，否則返回-1，錯誤原因存于errno中。

錯誤代碼

EACCESS 參數(shù)pathname所指定的目錄路徑無可執(zhí)行的權(quán)限

EEXIST 參數(shù)pathname所指定的文件已存在。

ENAMETOOLONG 參數(shù)pathname的路徑名稱太長。

ENOENT 參數(shù)pathname包含的目錄不存在

ENOSPC 文件系統(tǒng)的剩余空間不足

ENOTDIR 參數(shù)pathname路徑中的目錄存在但卻非真正的目錄。

EROFS 參數(shù)pathname指定的文件存在于只讀文件系統(tǒng)內(nèi)。

示例1:

#include

#include

#include

#include

int main(void)

{

char buf[80];

int fd;

unlink( "zieckey_fifo" );

mkfifo( "zieckey_fifo", 0777 );

if ( fork() 0 )

{

char s[] = "Hello!\n";

fd = open( "zieckey_fifo", O_WRONLY );

write( fd, s, sizeof(s) );

//close( fd );

}

else

{

fd = open( "zieckey_fifo", O_RDONLY );

read( fd, buf, sizeof(buf) );

printf("The message from the pipe is:%s\n", buf );

//close( fd );

}

return 0;

}

執(zhí)行

hello!

示例2:

#include

#include

#include

#include

#include

int main( int argc, char **argv )

{

mode_t mode = 0666;

if ( argc !=2 )

{

printf( "Usage:[%s] fifo_filename\n", argv[0] );

return -1;

}

if (mkfifo( argv[1], mode)0 )

{

perror( "mkfifo");

return -1;

}

return 0;

} [/code]

Python多進程運行——Multiprocessing基礎(chǔ)教程2

上篇文章簡單介紹了multiprocessing模塊，本文將要介紹進程之間的數(shù)據(jù)共享和信息傳遞的概念。

在多進程處理中，所有新創(chuàng)建的進程都會有這兩個特點：獨立運行，有自己的內(nèi)存空間。

我們來舉個例子展示一下：

這個程序的輸出結(jié)果是：

在上面的程序中我們嘗試在兩個地方打印全局列表result的內(nèi)容：

我們再用一張圖來幫助理解記憶不同進程間的數(shù)據(jù)關(guān)系：

如果程序需要在不同的進程之間共享一些數(shù)據(jù)的話，該怎么做呢？不用擔心，multiprocessing模塊提供了Array對象和Value對象，用來在進程之間共享數(shù)據(jù)。

所謂Array對象和Value對象分別是指從共享內(nèi)存中分配的ctypes數(shù)組和對象。我們直接來看一個例子，展示如何用Array對象和Value對象在進程之間共享數(shù)據(jù)：

程序輸出的結(jié)果如下：

成功了！主程序和p1進程輸出了同樣的結(jié)果，說明程序中確實完成了不同進程間的數(shù)據(jù)共享。那么我們來詳細看一下上面的程序做了什么：

在主程序中我們首先創(chuàng)建了一個Array對象：

向這個對象輸入的第一個參數(shù)是數(shù)據(jù)類型：i表示整數(shù)，d代表浮點數(shù)。第二個參數(shù)是數(shù)組的大小，在這個例子中我們創(chuàng)建了包含4個元素的數(shù)組。

類似的，我們創(chuàng)建了一個Value對象：

我們只對Value對象輸入了一個參數(shù)，那就是數(shù)據(jù)類型，與上述的方法一致。當然，我們還可以對其指定一個初始值（比如10），就像這樣：

隨后，我們在創(chuàng)建進程對象時，將剛創(chuàng)建好的兩個對象：result和square_sum作為參數(shù)輸入給進程：

在函數(shù)中result元素通過索引進行數(shù)組賦值，square_sum通過 value 屬性進行賦值。

注意：為了完整打印result數(shù)組的結(jié)果，需要使用 result[:] 進行打印，而square_sum也需要使用 value 屬性進行打?。?/p>

每當python程序啟動時，同時也會啟動一個服務器進程。隨后，只要我們需要生成一個新進程，父進程就會連接到服務器并請求它派生一個新進程。這個服務器進程可以保存Python對象，并允許其他進程使用代理來操作它們。

multiprocessing模塊提供了能夠控制服務器進程的Manager類。所以，Manager類也提供了一種創(chuàng)建可以在不同流程之間共享的數(shù)據(jù)的方法。

服務器進程管理器比使用共享內(nèi)存對象更靈活，因為它們可以支持任意對象類型，如列表、字典、隊列、值、數(shù)組等。此外，單個管理器可以由網(wǎng)絡上不同計算機上的進程共享。

但是，服務器進程管理器的速度比使用共享內(nèi)存要慢。

讓我們來看一個例子：

這個程序的輸出結(jié)果是：

我們來理解一下這個程序做了什么：首先我們創(chuàng)建了一個manager對象

在with語句下的所有行，都是在manager對象的范圍內(nèi)的。接下來我們使用這個manager對象創(chuàng)建了列表（類似的，我們還可以用 manager.dict() 創(chuàng)建字典）。

最后我們創(chuàng)建了進程p1（用于在records列表中插入一條新的record）和p2（將records打印出來），并將records作為參數(shù)進行傳遞。

服務器進程的概念再次用下圖總結(jié)一下：

為了能使多個流程能夠正常工作，常常需要在它們之間進行一些通信，以便能夠劃分工作并匯總最后的結(jié)果。multiprocessing模塊支持進程之間的兩種通信通道：Queue和Pipe。

使用隊列來回處理多進程之間的通信是一種比較簡單的方法。任何Python對象都可以使用隊列進行傳遞。我們來看一個例子：

上面這個程序的輸出結(jié)果是：

我們來看一下上面這個程序到底做了什么。首先我們創(chuàng)建了一個Queue對象：

然后，將這個空的Queue對象輸入square_list函數(shù)。該函數(shù)會將列表中的數(shù)平方，再使用 put() 方法放入隊列中：

隨后使用 get() 方法，將q打印出來，直至q重新稱為一個空的Queue對象：

我們還是用一張圖來幫助理解記憶：

一個Pipe對象只能有兩個端點。因此，當進程只需要雙向通信時，它會比Queue對象更好用。

multiprocessing模塊提供了 Pipe() 函數(shù)，該函數(shù)返回由管道連接的一對連接對象。 Pipe() 返回的兩個連接對象分別表示管道的兩端。每個連接對象都有 send() 和 recv() 方法。

我們來看一個例子：

上面這個程序的輸出結(jié)果是：

我們還是來看一下這個程序到底做了什么。首先創(chuàng)建了一個Pipe對象：

與上文說的一樣，該對象返回了一對管道兩端的兩個連接對象。然后使用 send() 方法和 recv() 方法進行信息的傳遞。就這么簡單。在上面的程序中，我們從一端向另一端發(fā)送一串消息。在另一端，我們收到消息，并在收到END消息時退出。

要注意的是，如果兩個進程(或線程)同時嘗試從管道的同一端讀取或?qū)懭牍艿乐械臄?shù)據(jù)，則管道中的數(shù)據(jù)可能會損壞。不過不同的進程同時使用管道的兩端是沒有問題的。還要注意，Queue對象在進程之間進行了適當?shù)耐剑鷥r是增加了計算復雜度。因此，Queue對象對于線程和進程是相對安全的。

最后我們還是用一張圖來示意：

Python的multiprocessing模塊還剩最后一篇文章：多進程的同步與池化

敬請期待啦！

網(wǎng)頁名稱：python中的管道函數(shù) python 管道 隊列
鏈接地址：http://jinyejixie.com/article18/doseedp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、微信公眾號、搜索引擎優(yōu)化、網(wǎng)站導航、移動網(wǎng)站建設、手機網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)