傳統(tǒng)NFS存儲(chǔ)缺點(diǎn)分析：

• 幾臺web服務(wù)器通過NFS共享一個(gè)存儲(chǔ)，在業(yè)務(wù)功能上可以滿足需求，但在性能與容量上,NFS無法勝任更高的要求，隨著業(yè)務(wù)量的增加，經(jīng)常出現(xiàn)超時(shí)的問題，而且NFS存在著單點(diǎn)故障的問題，盡管可以用rsync同步數(shù)據(jù)到另外一臺服務(wù)器上做備份但對提高整個(gè)系統(tǒng)的性能并無幫助。

MFS：分布式文件系統(tǒng)介紹：

在秀山土家族苗族等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、外貿(mào)營銷網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需制作網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),營銷型網(wǎng)站,外貿(mào)網(wǎng)站建設(shè),秀山土家族苗族網(wǎng)站建設(shè)費(fèi)用合理。

• MFS是一個(gè)具有容錯(cuò)性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個(gè)物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個(gè)統(tǒng)一整合的資源。

MFS是一個(gè)具有容錯(cuò)功能的，高可用，可擴(kuò)展的海量級分布式文件系統(tǒng)；

MFS把數(shù)據(jù)分散在多臺服務(wù)器上，單用戶看到的只是一個(gè)源；

數(shù)據(jù)訪問不再是一對多的關(guān)系，而是多對多，相較NFS性能大幅度提升；

包含了層級結(jié)構(gòu)和文件屬性，可以創(chuàng)建特殊的文件（塊設(shè)備，字符設(shè)備，管道，套接字），符號鏈接和硬鏈接。

分布式原理：

• 分布式文件系統(tǒng)（distributed file system）是指文件系統(tǒng)管理的物質(zhì)存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。簡單說就是把一些分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上的共享文件夾，集合到一個(gè)虛擬共享文件夾內(nèi)，客戶端訪問只需要打開這個(gè)虛擬共享文件夾，就可以看到所有鏈接到虛擬共享文件夾內(nèi)的共享文件，用戶感覺不到這些共享文件是分散于各個(gè)計(jì)算機(jī)上的。 分布式文件系統(tǒng)的優(yōu)點(diǎn)：集中訪問、簡化操作、數(shù)據(jù)容災(zāi)、提高了文件的存儲(chǔ)性能。

MFS文件系統(tǒng)的組成：

• 元數(shù)據(jù)服務(wù)器（Master）:在整個(gè)體系中負(fù)責(zé)管理文件系統(tǒng)，維護(hù)元數(shù)據(jù)。

• 元數(shù)據(jù)日志服務(wù)器（MetaLogger）:備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs 當(dāng)Master服務(wù)器數(shù)據(jù)丟失或者損壞時(shí)，可以從日志服務(wù)器中取得進(jìn)行恢復(fù)。

• 數(shù)據(jù)存儲(chǔ)服務(wù)器（Chunk server）:真正存儲(chǔ)數(shù)據(jù)的服務(wù)器。將文件分塊保存，并相互進(jìn)行復(fù)制。

• 客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統(tǒng)，其操作是相同的。

MFS文件系統(tǒng)的組成架構(gòu)如下圖所示：

MFS讀取數(shù)據(jù)的處理過程：

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求;

• 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk server的IP地址和Chunk編號）告知客戶端.

• 客戶端向已知的Chunk server請求發(fā)送數(shù)據(jù)。

• Chunk server向客戶端發(fā)送數(shù)據(jù)。

MFS寫入數(shù)據(jù)的處理過程：

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。

• 元數(shù)據(jù)服務(wù)器與Chunk server進(jìn)行交互，但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks,創(chuàng)建成功后由Chunk server告知元數(shù)據(jù)服務(wù)器操作成功。

• 元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個(gè)Chunk server的哪些Chunks寫入數(shù)據(jù)。

• 客戶端向指定的Chunk server寫入數(shù)據(jù)。

• 該Chunk server與其他Chunk server進(jìn)行數(shù)據(jù)同步，同步成功后Chunk server告知客戶端數(shù)據(jù)寫入成功。

• 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

實(shí)驗(yàn)環(huán)境介紹

主機(jī)	IP地址	安裝軟件包	操作系統(tǒng)
Master Server	192.168.30.55	mfs-1.6.27-5.tar.gz	CentOS7
MetaLogger Server	192.168.30.10	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server1	192.168.30.4	mfs-1.6.27-5.tar.gz	CentOS7
Chunk Server2	192.168.30.5	mfs-1.6.27-5.tar.gz	CentOS7
Client	192.168.30.6	mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz	CentOS7

實(shí)驗(yàn)部署

首先分別在這幾個(gè)實(shí)驗(yàn)主機(jī)上關(guān)閉防火墻，selinux

systemctl stop firewalld.service

setenforce 0

一，搭建Master Server

• yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

• 創(chuàng)建運(yùn)行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運(yùn)行用戶，組為mfs

--with-default-group=mfs \

--disable-mfschunkserver \           #關(guān)閉節(jié)點(diǎn)功能

--disable-mfsmount                         #關(guān)閉掛載

make && make install

• 復(fù)制配置文件

在Master上需要用到的配置文件有兩個(gè)：mfsmaster.cfg（主配置文件）和mfsexports.cfg（被掛載目錄及權(quán)限配置文件）

cd /usr/local/mfs/etc/mfs/

cp mfsexports.cfg.dist mfsexports.cfg

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs

不需要對配置文件做任何修改就可以開始工作

• 啟動(dòng)Master Server

/usr/local/mfs/sbin/mfsmaster start 
ps aux | grep mfs

停止Master Server的命令

/usr/local/mfs/sbin/mfsmaster -s

二，搭建MetaLogger Server

• yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

• 創(chuàng)建運(yùn)行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運(yùn)行用戶，組為mfs

--with-default-group=mfs \

--disable-mfschunkserver \           #關(guān)閉節(jié)點(diǎn)功能

--disable-mfsmount                         #關(guān)閉掛載

make && make install

• 復(fù)制配置文件

cd /usr/local/mfs/etc/mfs/

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

• 修改配置文件

vi mfsmetalogger.cfg

..............

MASTER_HOST = 192.168.30.55

..................

• 啟動(dòng)服務(wù)

/usr/local/mfs/sbin/mfsmetalogger start

三，搭建chunk Server（兩臺節(jié)點(diǎn)服務(wù)配置一樣）

• yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

• 創(chuàng)建運(yùn)行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝源碼包

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運(yùn)行用戶，組為mfs

--with-default-group=mfs \

--disable-mfsmaster \           #關(guān)閉master功能

--disable-mfsmount                         #關(guān)閉掛載

make && make install

• 復(fù)制配置文件

cd /usr/local/mfs/etc/mfs/

cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

• 修改配置文件

vi mfschunkserver.cfg

MASTER_HOST = 192.168.30.55

• 指定 MFS共享文件存儲(chǔ)目錄，

實(shí)際生產(chǎn)環(huán)境需要單獨(dú)提供磁盤陣列作為專門的MFS存儲(chǔ)目錄，這里只是進(jìn)行實(shí)驗(yàn)，所以使用一個(gè)單獨(dú)的目錄代替

vi mfshdd.cfg

/data

mkdir / data

chown -R mfs:mfs /data

• 啟動(dòng)服務(wù)

/usr/local/mfs/sbin/mfschunkserver start

ps aux | grep mfs

四，客戶端client配置

• yum安裝編譯環(huán)境包

yum install -y zlib-devel gcc gcc-c++

• 創(chuàng)建運(yùn)行用戶mfs

useradd mfs -s /sbin/nologin

• 安裝mfs源碼包之前安裝fuse插件，MFS客戶端依賴于fuse

tar xzvf fuse-2.9.2.tar.gz

cd fuse-2.9.2

./configure

make && make install

• 設(shè)置環(huán)境變量

echo "export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH" >>/etc/profile

source /etc/profile

• 安裝mfs源碼包客戶端

tar zxvf mfs-1.6.27-5.tar.gz     #解壓源碼包

cd mfs-1.6。27/

./configure \

--prefix=/usr/local/mfs \           #指定安裝路徑

--with-default-user=mfs \            #指定運(yùn)行用戶，組為mfs

--with-default-group=mfs \

--disable-mfsmaster \           #關(guān)閉master功能

--disable-mfschunkserver \       #關(guān)閉節(jié)點(diǎn)功能

--enable-mfsmount                         #關(guān)閉掛載

make && make install

• 掛載MFS文件系統(tǒng)

mkdir /opt/mfs               //創(chuàng)建掛載點(diǎn)

modprobe fuse          //加載fuse模塊到內(nèi)核//

/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.30.55    掛載MFS

df -hT      查看掛載情況

如果要卸載，使用umount /opt/mfs即可。

• 優(yōu)化客戶端

echo "export PATH=/usr/local/mfs/bin:$PATH" >>/etc/profile

source /etc/profile

• MFS常用操作

MFS在客戶端安裝完畢后，會(huì)生成/usr/local/mfs/bin目錄，在這個(gè)目錄下有很多命令，

• mfsgetgoal：用來查詢文件被復(fù)制的份數(shù)，利用-r選項(xiàng)可以對整個(gè)目錄進(jìn)行遞歸，goal是指文件被復(fù)制的份數(shù)

• mfssetgoal：設(shè)置文件被恢復(fù)的份數(shù)，生產(chǎn)環(huán)境中chunk server節(jié)點(diǎn)數(shù)量應(yīng)至少大于2，文件副本數(shù)小于等于chunk server服務(wù)器的數(shù)量

mfsgetgoal -r /opt/mfs

mfssetgoal -r 2 /opt/mfs/

echo abc123 >/opt/mfs/test1

• 在chunk server上可以查看存儲(chǔ)的文件單元

所有配置工作做好了

五，在Master Server上啟動(dòng)監(jiān)控

• Mfscgiserv是用python編寫的一個(gè)web服務(wù)器，其監(jiān)聽端口是9425，可以在master server上通過命令/usr/local/mfs/sbin/mfscgiserv來啟動(dòng)，用戶利用瀏覽器就可以全面監(jiān)控所有客戶掛載，chunk server，master server，以及客戶端的各種操作等

/usr/local/mfs/sbin/mfscgiserv

 

通過瀏覽器訪問http://192.168.30.55:9425

 

分享標(biāo)題：MFS分布式文件系統(tǒng)原理及環(huán)境搭建
當(dāng)前地址：http://jinyejixie.com/article18/ggepdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、手機(jī)網(wǎng)站建設(shè)、商城網(wǎng)站、網(wǎng)站設(shè)計(jì)、云服務(wù)器、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)