基于linux 的 并行計算的集群。 詳細步驟 ？ 謝謝

先申明哈，內容是復制博友的。希望對你有幫助！linux集群中MPI的并行計算環(huán)境的簡單配置

創(chuàng)新互聯(lián)專注于三元企業(yè)網站建設,響應式網站,商城開發(fā)。三元網站建設公司,為三元等地區(qū)提供建站服務。全流程定制制作，專業(yè)設計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務

MPI的安裝及簡單測試

MPI有多種實現(xiàn)版本，如Argonne國家實驗室開發(fā)的MPICH，Edinburgh開發(fā)的CHIMP以及Ohio State University開發(fā)的LAM/MPI。其中MPICH是一種最重要的MPI實現(xiàn)，它可以從網上免費獲得Linux和Windows版本。它的開發(fā)和MPI規(guī)范的制定是同步的，因此最能反映MPI的變化和發(fā)展，MPICH由此成為實現(xiàn)MPI的最成熟和最廣泛使用的版本。本文安裝的MPI軟版本為MPICH-1.2.6。

安裝步驟：

1、從網上下載MPICH壓縮包（mpich.tar.gz）

2、解壓：# tar zxvf mpich.tar.gz

3、進入解壓后的目錄： # cd mpich-1.2.6

4、配置： # ./configure –prefix=/usr/local/mpich

其中/usr/local/mpich為軟件所安裝的目錄

5、編譯 # make

6、安裝 # make install

7、配置該軟件的用戶搜索路徑

Root 用戶下：修改/etc/profile 加入

PATH=$PATH:/usr/local/mpich/bin

MANPATH=$MANPATH:/usr/local/mpich/man

Export PATH MANPATH

普通用戶下：修改~/.bash_profile 加入

export PATH=$PATH:/usr/local/mpich/bin

8、修改/usr/local/mpich/share/machines.LINUX文件，加入集群中可以用來做并行計算的主機名(八節(jié)點集群為例)

加入的內容為：

server

pc1

pc2

pc3

pc4

pc5

pc6

pc7

9、MPI環(huán)境的簡單測試

在服務器節(jié)點上，以mpich 自帶的計算PI值的并行計算程序cpi對所搭建的集群環(huán)境做簡單的測試。

步驟：

在/usr/local/mpich/example目錄下

1 編譯 # make cpi

2 啟動并行計算 # mpirun –np N cpi (其中N 為節(jié)點機的個數(shù))

可以看到PI值及誤差和計算時間，說明環(huán)境搭建基本成功。至此，所組建的MPI集群基本成功。

Linux集群使用命令

存儲NAS 文件操作

df -h查看空間使用情況

警惕超大 nohup.out

任務提交

任務提交前

qhost--查看集群負載狀態(tài)

qsub / qsub-sge.pl--提交任務

qstat--查看任務狀態(tài)

qdel / qmod--任務控制

任務查看

qhost -j---列出所有用戶在每個節(jié)點上的任務

qhost -q---列出每個節(jié)點上每個隊列的任務數(shù)

qhost -u username---列出某個用戶在每個節(jié)點上的任務

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任務查看2

qstat -u username---查看某個用戶的任務

qstat -u *,---查看所有用戶的任務

qstat –j jobs_ID---查看某個任務的詳細信息

查看.e和.o文件

.e：錯誤信息

.o：標準輸出

任務控制

qdel jobID---刪除某個任務

qdel -u username---刪除某個用戶的所有任務

qmod -s jobID--掛起某個任務

qmod -us jobID---繼續(xù)運行某個掛起的任務

按任務占用內存大小選擇相應的隊列

查看隊列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平臺

general.q--96G節(jié)點

middle.q--96G節(jié)點

great.q--大內存節(jié)點

plus.q--大內存節(jié)點

single.q--Trinity組裝

single._p.q---Trinity組裝（占用內存較大）

TOP監(jiān)視

編輯于 2017-04-21

Linux集群常用指令

姓名：張昊楠? ?學號：21021210691

存儲NAS 文件操作

df -h查看空間使用情況

警惕超大 nohup.out

ls? ?當前路徑下的文件列表

pwd? 查看當前路徑

cd? ? 進入某個文件夾

任務提交

任務提交前

qhost--查看集群負載狀態(tài)

qsub / qsub-sge.pl--提交任務

qstat--查看任務狀態(tài)

qdel / qmod--任務控制

任務查看

qhost -j---列出所有用戶在每個節(jié)點上的任務

qhost -q---列出每個節(jié)點上每個隊列的任務數(shù)

qhost -u username---列出某個用戶在每個節(jié)點上的任務

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任務查看2

qstat -u username---查看某個用戶的任務

qstat -u *,---查看所有用戶的任務

qstat –j jobs_ID---查看某個任務的詳細信息

查看.e和.o文件

.e：錯誤信息

.o：標準輸出

任務控制

qdel jobID---刪除某個任務

qdel -u username---刪除某個用戶的所有任務

qmod -s jobID--掛起某個任務

qmod -us jobID---繼續(xù)運行某個掛起的任務

按任務占用內存大小選擇相應的隊列

查看隊列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平臺

general.q--96G節(jié)點

middle.q--96G節(jié)點

great.q--大內存節(jié)點

plus.q--大內存節(jié)點

single.q--Trinity組裝

single._p.q---Trinity組裝（占用內存較大）

如何最快搭建LINUX服務器集群

1.2.并行技術

這是一個非常簡單的建造四節(jié)點的小集群系統(tǒng)的例子，它是構建在Linux操作系統(tǒng)上，通過MPICH軟件包實現(xiàn)的，希望這個小例子能讓大家對集群系統(tǒng)的構建有一個最基本的了解。

2.使用MPICH構建一個四節(jié)點的集群系統(tǒng)

這是一個非常簡單的建造四節(jié)點的小集群系統(tǒng)的例子，它是構建在Linux操作系統(tǒng)上，通過MPICH軟件包實現(xiàn)的，希望這個小例子能讓大家對集群系統(tǒng)的構建有一個最基本的了解。

2.1 所需設備

1).4臺采用Pentium II處理器的PC機，每臺配

置64M內存，2GB以上的硬盤，和EIDE接口的光盤驅動器。

2).5塊100M快速以太網卡，如SMC 9332 EtherPower 10/100(其中四塊卡用于連接集群中的結點，另外一塊用于將集群中的其中的一個節(jié)點與其它網絡連接。)

3).5根足夠連接集群系統(tǒng)中每個節(jié)點的，使用5類非屏蔽雙絞線制作的RJ45纜線

4).1個快速以太網(100BASE-Tx)的集線器或交換機

5).1張Linux安裝盤

2.2 構建說明

對計算機硬件不熟的人，實施以下這些構建步驟會感到吃力。如果是這樣，請找一些有經驗的專業(yè)人士尋求幫助。

1. 準備好要使用的采用Pentium II處理器的PC機。確信所有的PC機都還沒有接上電源，打開PC機的機箱，在準備與網絡上的其它設備連接的PC機上安裝上兩塊快速以太網卡，在其它的 PC機上安裝上一塊快速以太網卡。當然別忘了要加上附加的內存。確定完成后蓋上機箱，接上電源。

2. 使用4根RJ45線纜將四臺PC機連到快速以太網的集線器或交換機上。使用剩下的1根RJ45線將額外的以太網卡(用于與其它網絡相連的那塊，這樣機構就可以用上集群)連接到機構的局域網上(假定你的機構局域網也是快速以太網)，然后打開電源。

3. 使用LINUX安裝盤在每一臺PC機上安裝。請確信在LINUX系統(tǒng)中安裝了C編譯器和C的LIB庫。當你配置TCP/IP時，建議你為四臺PC分別指定為192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一臺PC為你的服務器節(jié)點(擁有兩塊網卡的那臺)。在這個服務器節(jié)點上的那塊與機構局域網相連的網卡，你應該為其指定一個與機構局域網吻合的IP地址。

4.當所有PC都裝好Linux系統(tǒng)后，編輯每臺機器的/etc/hosts文件，讓其包含以下幾行：

192.168.1.1 node1 server

192.168.1.2 node2

192.168.1.3 node3

192.168.1.4 node4

編輯每臺機器的/etc/hosts.equiv文件，使其包含以下幾行：

node1

node2

node3

node4

$p#

以下的這些配置是為了讓其能使用MPICH’s p4策略去執(zhí)行分布式的并行處理應用。

1. 在服務器節(jié)點

，建一個/mirror目錄，并將其配置成為NFS服務器，并在/etc/exports文件中增加一行：

/mirror node1(rw) node2(rw) node3(rw) node4(rw)

2. 在其他節(jié)點上，也建一個/mirror目錄，關在/etc/fstab文件中增加一行：

server:/mirror /mirror nfs rw,bg,soft 0 0

3. /mirror這個目錄從服務器上輸出，裝載在各個客戶端，以便在各個節(jié)點間進行軟件任務的分發(fā)。

4. 在服務器節(jié)點上，安裝MPICH。MPICH的文檔可在

5.任何一個集群用戶(你必須在每一個節(jié)點新建一個相同的用戶)，必須在/mirror目錄下建一個屬于它的子目錄，如 /mirror/username，用來存放MPI程序和共享數(shù)據(jù)文件。這種情況，用戶僅僅需要在服務器節(jié)點上編譯MPI程序，然后將編譯后的程序拷貝到在/mirror目錄下屬于它的的子目錄中，然后從他在/mirror目錄下屬于它的的子目錄下使用p4 MPI策略運行MPI程序。

2.3 MPICH安裝指南

1.如果你有gunzip，就d下載mpich.tar.gz，要不然就下載mpich.tar.Z。你可以到下載，也可以使用匿名FTP到的pub/mpi目錄拿。(如果你覺得這個東西太大，你可以到pub/mpi/mpisplit中取分隔成塊的幾個小包，然后用cat命令將它們合并)

2.解壓：gunzip ;c mpich.tar.gz 　tar xovf-(或zcat mpich.tar.Z　tar xovf-)

3.進入mpich目錄

4.執(zhí)行：./configure為MPICH選擇一套適合你的實際軟硬件環(huán)境的參數(shù)組，如果你對這些默認選擇的參數(shù)不滿意，可以自己進行配置(具體參見MPICH的配置文檔)。最好選擇一個指定的目錄來安裝和配置MPICH，例如：

./configure -prefix=/usr/local/mpich-1.2.0

5.執(zhí)行：make make.log 這會花一段較長的時間，不同的硬件環(huán)境花的時間也就不同，可能從10分鐘到1個小時，甚至更多。

6.(可選)在工作站網絡，或是一臺單獨的工作站，編輯mpich/util/machines/machines.xxx(xxx是MPICH對你機器體系結構取的名稱，你能很容易的認出來)以反映你工作站的當?shù)刂鳈C名。你完全可以跳過這一步。在集群中，這一步不需要。

7.(可選)編譯、運行一個簡單的測試程序：

cd examples/basic

make cpi

ln ;s ../../bin/mpirun mpirun

./mpirun ;np 4 cpi

此時，你就在你的系統(tǒng)上運行了一個MPI程序。

8.(可選)構建MPICH其余的環(huán)境，為ch_p4策略使

用安全的服務會使得任何啟動速度加快，你可以執(zhí)行以下命令構建：

make serv_p4

(serv_p4是一個較新的P4安全服務的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一個更快版本，但他需要tk 3.6版的源代碼。如果你有這個包，你就用以下命令可以構建它：

make nupshot

9.(可選)如果你想將MPICH安裝到一個公用的地方讓其它人使用它，你可以執(zhí)行：

make install 或 bin/mpiinstall

你可以使用-prefix選項指定MPICH安裝目錄。安裝后將生成include、lib、bin、sbin、www和man目錄以及一個小小的示例目錄，

到此你可以通告所有的用戶如何編譯、執(zhí)行一個MPI程序。

Linux一次在多個服務器運行命令

如果您維護多個Linux服務器，則有時您希望在所有服務器上運行相同的命令。例如，您可能希望安裝/升級軟件包，修補內核以及更新配置等。如果您必須登錄到每個服務器并手動運行相同的命令，那將是一項繁瑣的工作。

這篇文章是關于一個管理工具，它允許您一次在許多不同的機器上運行相同的命令。

通過ClusterSSH，您可以同時在多個主機上進行相同的更改。它提供了一個特殊的控制臺界面，您在控制臺中輸入的任何內容都會自動發(fā)送到任意數(shù)量的主機。

在Linux上安裝ClusterSSH

在Ubuntu，Debian或Linux Mint上安裝ClusterSSH：

$ sudo apt-get install clusterssh

要在CentOS或RHEL上安裝ClusterSSH，首先需要設置EPEL存儲庫，然后運行以下命令。

$ sudo yum install clusterssh

要在Fedora上安裝ClusterSSH，只需運行：

$ sudo yum install clusterssh

配置ClusterSSH

安裝后，第一步是定義要在其上運行命令的主機群集。為此，請按如下方式創(chuàng)建系統(tǒng)范圍的ClusterSSH配置文件。

$ sudo vi / etc / clusters

clusters = my_cluster my_cluster2

my_cluster = host1 host2 host3 host4

my_cluster2 = host5 host6

如果您需要特定于用戶的ClusterSSH配置，只需使用?/ .csshrc而不是/ etc / clusters。在上面的示例配置中，我定義了兩個集群：“my_cluster”由四個主機組成，“my_cluster2”包含兩個主機。群集是您要登錄并運行命令的一組主機。

當您使用任何用戶定義的群集啟動ClusterSSH時，它將使用ssh登錄到群集中的各個主機，并在主機上運行任何用戶類型的命令。

啟動ClusterSSH

要啟動ClusterSSH，請按如下方式運行cssh命令。

$ cssh -l dev my_cluster

在上文中，“dev”是群集中所有主機的登錄ID，“my_cluster”是群集名稱。

如果需要，可以指定單個主機名而不是群集名。

$ cssh -l dev host1 host2 host3

一旦CSSH執(zhí)行命令時，它會彈出用于單個主機的XTerm窗口，以及標記的一個小窗口“CSSH [2]”，其是ClusterSSH控制臺窗口。無論您在控制臺窗口中輸入什么，都將同時出現(xiàn)在各個主機的XTerm窗口中?；旧?，您可以通過單一控制臺窗口控制所有XTerm窗口。

如果要將某些命令運行到特定的XTerm窗口，只需將焦點切換到Xterm窗口，然后像往常一樣鍵入命令。

以下屏幕截圖顯示了ClusterSSH的運行情況，其中群集中有五個主機，左上角的控制臺窗口是您應該鍵入要在所有五個主機上運行的命令的位置。

轉自 嘉為教育-rhce認證_rhce培訓_linux培訓_linux認證_linux考證

分享文章：linux集群并行命令,linux并發(fā)執(zhí)行命令
文章轉載：http://jinyejixie.com/article16/hchhdg.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供外貿網站建設、建站公司、網站收錄、品牌網站建設、營銷型網站建設、網站建設

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)