MFS分布式存儲服務(wù)

創(chuàng)新互聯(lián)專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、翼城網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計、購物商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為翼城等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

 MFS的作用：

    MFS分布式存儲的目的是為了解決在NFS的短板，多臺服務(wù)器通過NFS的方式掛載共享

一個服務(wù)器的存儲空間，使得NFS服務(wù)器不堪重負(fù)，經(jīng)常出現(xiàn)超時的現(xiàn)象，而且NFS存在單點(diǎn)故障，

盡管可以使用rsync同步數(shù)據(jù)到另一臺服務(wù)器上做備份，但對提高系統(tǒng)性能并無幫助。因此解決方案

采取MFS分布式文件系統(tǒng)，服務(wù)器之間的數(shù)據(jù)訪問不再是一對多的關(guān)系，而是多對多的關(guān)系。

  什么是分布式存儲：

    分布式原理：通過計算機(jī)網(wǎng)絡(luò)和節(jié)點(diǎn)相連，簡單的說就是把一些分散的共享文件夾集合到一個虛擬文

件夾內(nèi)。對于用戶來說，訪問這些共享文件夾只是打開了一個虛擬文件夾，用戶感受不到這些共享文件夾是分

布于各個計算機(jī)上的。分布式文件系統(tǒng)的好處是集中訪問，簡化操作，數(shù)據(jù)容災(zāi)，以及提高文件的存取性能。

  MFS原理：

1）MFS文件系統(tǒng)的組成。

● 元數(shù)據(jù)服務(wù)器(master):在整個體系中負(fù)責(zé)管理文件系統(tǒng)，維護(hù)元數(shù)據(jù)。

● 元數(shù)據(jù)日志服務(wù)器（metaLogger）:當(dāng)MAster服務(wù)器數(shù)據(jù)丟失或者損壞是，可以從日志服務(wù)器中取得文件，進(jìn)行恢復(fù)。

● 數(shù)據(jù)存儲服務(wù)器（chunkserver）:真正存儲數(shù)據(jù)的服務(wù)器。存儲文件時會把文件分塊保存。

● 客戶端：可以像掛載MFS文件系統(tǒng)一樣，其操作相同。

2）MFS讀取數(shù)據(jù)的處理過程。

● 客戶端向元數(shù)據(jù)服務(wù)器發(fā)出請求。

● 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放位置告知客戶端。

●客戶端向已知Chunk server請求發(fā)送數(shù)據(jù)。

●Chunk Server向客戶端發(fā)送數(shù)據(jù)。

3）MFS寫入數(shù)據(jù)的出來過程

● 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求

● 元數(shù)據(jù)服務(wù)器與Chunk Server進(jìn)行交互，會在Chunk Server上創(chuàng)建新分塊Chunks并告知元服務(wù)器。

● 元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個Chunk Server的哪個分塊Chunks上寫入數(shù)據(jù)。

● 客戶端指定Chunk Server寫入數(shù)據(jù)。

● 該Chunk Server與其他Chunk Server進(jìn)行數(shù)據(jù)同步，同步成功告知客戶端寫入成功。

● 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

 實(shí)驗(yàn)拓?fù)淙缦拢?/strong>

本實(shí)驗(yàn)使用5臺服務(wù)器模擬搭建MFS文件系統(tǒng)

   

 實(shí)驗(yàn)環(huán)境：

角色類型	操作系統(tǒng)	ip地址	主要軟件
Master Server	Centos7	192.168.60.141	moosefs-3.0.100-1.tar.gz
MetaLogger Server	Centos7	192.168.60.136	moosefs-3.0.100-1.tar.gz
Chunk Server1	Centos7	192.168.60.143	moosefs-3.0.100-1.tar.gz
Chunk Server2	Centos7	192.168.60.144	moosefs-3.0.100-1.tar.gz
Client	Centos7	192.168.60.130	fuse-2.9.2.tar.gz 、moosefs-3.0.100-1.tar.gz

一、搭建Master Server服務(wù)器

1、解壓、安裝環(huán)境包

tar zxf moosefs-3.0.100-1.tar.gz -C /opt

yum install gcc gcc-c++ zlib-devel -y

2、創(chuàng)建用戶、編譯

cd /opt/moosefs-3.0.100/

useradd -s /sbin/nologin mfs   #創(chuàng)建mfs管理用戶

./configure --prefix=/usr/local/mfs \   #編譯

--with-default-user=mfs \       #指定管理用戶

--with-default-group=mfs \     #指定管理組

--disable-mfschunkserver \    #禁用節(jié)點(diǎn)

--disable-mfsmount          #禁用客戶端掛載

make && make install

3、復(fù)制配置文件

cd /usr/local/mfs/etc/mfs

cp mfsexports.cfg.dist mfsexports.cfg

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfstopology.cfg.dist mfstopology.cfg

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs

4、優(yōu)化、啟動服務(wù)檢測端口

ln -s /usr/local/mfs/sbin/* /usr/local/sbin     #將mfs的命令放到系統(tǒng)中識別

mfsmaster start      #啟動mfsmaster

[root@localhost mfs]# netstat -ntap | grep mfs      #看三個監(jiān)聽端口

tcp    0   0 0.0.0.0:9419      0.0.0.0:*        LISTEN   42551/mfsmaster

tcp    0   0 0.0.0.0:9420      0.0.0.0:*        LISTEN   42551/mfsmaster

tcp    0   0 0.0.0.0:9421      0.0.0.0:*        LISTEN   42551/mfsmaster

二、搭建MetaLogger Server服務(wù)器

1、解壓縮、安裝環(huán)境包

tar zxf moosefs-3.0.100-1.tar.gz -C /opt

yum install gcc gcc-c++ zlib-devel -y

2、創(chuàng)建用戶、編譯

cd /opt/moosefs-3.0.100/

useradd -s /sbin/nologin mfs

./configure --prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfschunkserver \       #禁用節(jié)點(diǎn)

--disable-mfsmount            #禁用客戶端掛載

make && make install

3、復(fù)制配置文件并修改

cd /usr/local/mfs/etc/mfs/

cp mfsexports.cfg.dist mfsexports.cfg

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vim mfsmetalogger.cfg

MATER_HOST = 192.168.60.141      #找到MATER_HOST模板，ip地址指向master

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs

4、優(yōu)化、啟動服務(wù)檢測端口

ln -s /usr/local/mfs/sbin/* /usr/local/sbin/       #將mfs的命令放到系統(tǒng)中識別

mfsmetalogger start     #啟動服務(wù)

[root@localhost mfs]# netstat -ntap | grep mfs     #看下狀態(tài)有沒有起來

tcp    0   1 192.168.60.136:55894  220.250.64.225:9419   SYN_SENT  42707/mfsmetalogger

三、搭建Chunk節(jié)點(diǎn)服務(wù)器

1、解壓、安裝環(huán)境包

tar zxf moosefs-3.0.100-1.tar.gz -C /opt

yum install gcc gcc-c++ zlib-devel -y

2、創(chuàng)建用戶，編譯

cd /opt/moosefs-3.0.100/

useradd -s /sbin/nologin mfs

./configure --prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmaster \         #禁用master模式

--disable-mfsmount          #禁用用戶掛載

make && make install

3、復(fù)制配置文件并修改

cd /usr/local/mfs/etc/mfs

cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

vim mfschunkserver.cfg

MASTER_HOST = 192.168.60.141   #找到MASTER_HOST模板，IP地址指向master

vim mfshdd.cfg

#etc.

/data        #設(shè)置共享目錄data，需要創(chuàng)建

4、創(chuàng)建共享目錄，更改數(shù)組屬主

mkdir /data

chown -R mfs.mfs /data/

5、優(yōu)化、啟動服務(wù)查看端口

ln -s /usr/local/mfs/sbin/* /usr/local/sbin/  #將mfs的命令放到系統(tǒng)中識別

mfschunkserver start     #啟動服務(wù)

[root@localhost mfs]# netstat -ntap | grep mfs       #看下狀態(tài)有沒有起來

tcp    0   0 0.0.0.0:9422      0.0.0.0:*        LISTEN   42714/mfschunkserve

tcp    0   0 192.168.60.144:41774  192.168.60.141:9420   ESTABLISHED 42714/mfschunkserve

兩臺節(jié)點(diǎn)服務(wù)器的配置相同，重復(fù)操作即可。

四、搭建客戶端

1、解壓、安裝環(huán)境包

tar zxf moosefs-3.0.100-1.tar.gz -C /opt

tar zxf fuse-2.9.2.tar.gz -C /opt/

yum install gcc gcc-c++ zlib-devel -y

2、安裝配置fuse

cd /opt/fuse-2.9.2/

./configuer        #編譯fuse

make & make install

sed -i '$a export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH' /etc/profile

source /etc/profile

cd /opt/moosefs-3.0.100/    #編譯mfs

useradd mfs -s /sbin/nologin

./configure --prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmater \         #禁用master

--disable-mfschunkserver \   #禁用節(jié)點(diǎn)

--enable-mfsmount         #開啟用戶掛載

make && make install

3、掛載

mkdir /opt/mfs  #創(chuàng)建掛載目錄

/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.60.141  #掛載

df -h          #查看掛載狀態(tài)

192.168.60.141:9421    33G   0  33G  0% /opt/mfs

4、客戶端一些簡單操作

sed -i '$a export PATH=/usr/local/mfs/bin:$PATH' /etc/profile   #mfs優(yōu)化

source /etc/profile   #刷新環(huán)境變量

cd /opt/mfs

echo "this is test" > test.txt

mfsgetgoal -r /opt/mfs   #mfsgetgoal命令用來查詢文件被復(fù)制的分?jǐn)?shù)

mfssetgoal -r 3 /opt/mfs #mfssetgoal命令用來設(shè)置文件被復(fù)制的份數(shù)

五、MFS監(jiān)控

在主服務(wù)器上開啟監(jiān)控

[root@localhost mfs]# /usr/local/mfs/sbin/mfscgiserv

lockfile created and locked

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi)

http://192.168.60.141:9425   #用它給你的端口進(jìn)行訪問

六、yum安裝MFS擴(kuò)展

MFS也可以用yum進(jìn)行安裝，需要配置yum源

https://moosefs.com/download/  官網(wǎng)各個系統(tǒng)的介紹，這里我介紹一下centos的安裝

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

以上兩句話是配置yum倉庫

master服務(wù)器yum安裝操作：

yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

chunkserver服務(wù)器yum安裝的操作：

yum install moosefs-chunkserver

MetaLogger Server服務(wù)器yum安裝的操作：

yum install moosefs-metalogger

client端yum安裝的操作：

yum install moosefs-client

修改配置文件的操作和手工編譯的操作相同

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：MFS分布式存儲搭建詳解-創(chuàng)新互聯(lián)
瀏覽路徑：http://jinyejixie.com/article40/ccseho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站制作、微信公眾號、網(wǎng)站設(shè)計公司、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)