HDFS架構(gòu)

HDFS是一個(gè)master/slave結(jié)構(gòu)的服務(wù)，其中NameNode是master，一般只在一臺(tái)節(jié)點(diǎn)上啟動(dòng)；DataNode是slave，一般每臺(tái)節(jié)點(diǎn)都會(huì)啟動(dòng)一個(gè)；DataNode不斷地主動(dòng)向NameNode發(fā)送心跳、匯報(bào)block信息等；為了對(duì)NameNode進(jìn)行備份，還會(huì)有一個(gè)SecondaryNameNode

創(chuàng)新互聯(lián)專業(yè)提供多線服務(wù)器托管服務(wù)，為用戶提供五星數(shù)據(jù)中心、電信、雙線接入解決方案，用戶可自行在線購(gòu)買多線服務(wù)器托管服務(wù)，并享受7*24小時(shí)金牌售后服務(wù)。

HDFS各類操作

1. 創(chuàng)建目錄
   
   client與namenode直接交互，在INode中創(chuàng)建目錄節(jié)點(diǎn)，并將操作寫(xiě)入edit log中即可，全程不需要datanode參與。
2. 刪除文件
   
   客戶端與namenode交互刪除文件，namenode只是標(biāo)記要?jiǎng)h除，但不會(huì)主動(dòng)通知datanode；
   當(dāng)對(duì)應(yīng)的datanode向namenode發(fā)送心跳時(shí)，namnode會(huì)把刪除指令放到返回值里；
   所以一般刪除不是立即刪除，而是有一定的延遲。
3. 讀文件
   
   client先與namenode交互，通過(guò)getBlockLocatitions方法獲取到文件block所在節(jié)點(diǎn)，然后client再與datanode交互獲取具體數(shù)據(jù)；
   block可能不是一次全部返回，可能需要多次調(diào)用getBlockLocatitions。
   客戶端讀數(shù)據(jù)時(shí)如果DN發(fā)生故障，則會(huì)接著讀取下一個(gè)數(shù)據(jù)塊兒，并記錄這個(gè)出故障的節(jié)點(diǎn)；讀數(shù)據(jù)返回中包含了數(shù)據(jù)的校驗(yàn)和，如果發(fā)現(xiàn)錯(cuò)誤，會(huì)報(bào)告給NN，并從其它副本讀取。
4. 寫(xiě)文件
   
   client先與NN交互，在NN命名空間中創(chuàng)建一個(gè)新文件；
   第二步client真正寫(xiě)入之前再跟NN交互獲取要在哪兒寫(xiě)，addBlock返回一個(gè)LocateBlock對(duì)象，包含數(shù)據(jù)庫(kù)標(biāo)志和版本號(hào)；
   LocateBlock還提供了跟DN交互的數(shù)據(jù)流管道，client寫(xiě)入到管道中的數(shù)據(jù)被分為一個(gè)個(gè)的文件包，這些被放入到一個(gè)輸出隊(duì)列中；
   第三步client跟DN交互寫(xiě)入數(shù)據(jù)，第一個(gè)節(jié)點(diǎn)寫(xiě)完，由第一個(gè)DN向第二個(gè)DN寫(xiě)，寫(xiě)完還要返回ack確認(rèn)信息；如果收到ack確認(rèn)信息，則將這個(gè)文件包從隊(duì)列中刪除；
   寫(xiě)完一個(gè)數(shù)據(jù)塊之后，DN會(huì)跟NN交互，向NN提交這個(gè)數(shù)據(jù)塊。

對(duì)于某個(gè)DN發(fā)生故障的情況：
1，先關(guān)閉數(shù)據(jù)流通道，正在寫(xiě)的數(shù)據(jù)包由于沒(méi)有收到ack，不會(huì)從隊(duì)列中刪除，數(shù)據(jù)不會(huì)丟失；
2，正常的DN上的數(shù)據(jù)塊會(huì)被賦予一個(gè)新的版本號(hào)，并通知NN。主要是故障節(jié)點(diǎn)恢復(fù)后，發(fā)現(xiàn)版本號(hào)跟NN上的不一致就會(huì)自動(dòng)刪除了；
3，數(shù)據(jù)流管道刪除錯(cuò)誤節(jié)點(diǎn)并重新建立管道，繼續(xù)在正常幾點(diǎn)上寫(xiě)數(shù)據(jù)；
4，文件關(guān)閉后，NN發(fā)現(xiàn)此數(shù)據(jù)庫(kù)沒(méi)有達(dá)到副本數(shù)要求，會(huì)選擇一個(gè)新的DN來(lái)復(fù)制數(shù)據(jù)塊。

5. SecNameNode備份
   hdfs的元數(shù)據(jù)保存在Inode對(duì)象中，但是namenode是一個(gè)單點(diǎn)master，如果數(shù)據(jù)都在內(nèi)存則無(wú)法進(jìn)行故障恢復(fù)。
   hdfs有一個(gè)檢查點(diǎn)機(jī)制，會(huì)把某個(gè)時(shí)間點(diǎn)內(nèi)存中的Inode持久化到fsimage文件中，同時(shí)對(duì)每個(gè)操作記錄寫(xiě)入到edit log中。
   SecNameNode則負(fù)責(zé)把namenode上的fsimage和edit log合并。
   
   1，SecNN不斷地獲取NN上editlog的大小，如果太小則不做處理；
   2，如果editlog較大，則SecNN通知NN發(fā)起一次檢查點(diǎn)操作；
   3，NN會(huì)產(chǎn)出一個(gè)新的editlog——edit.new，此后對(duì)元數(shù)據(jù)的操作都寫(xiě)入到edit.new文件中；
   4，而SecNN則通過(guò)http接口分別將NN上的fsimage和editlog拉取到SecNN節(jié)點(diǎn)上，并在內(nèi)存中合并，并產(chǎn)出文件fsimage.ckpt;
   5，SecNN再主動(dòng)通知NN鏡像已合并完成；
   6，NN通過(guò)http接口拉取過(guò)來(lái)fsimage.ckpt并覆蓋原來(lái)的fsimage，最后將edit.new改回edit

HDFS HA

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：HDFS原理及架構(gòu)-創(chuàng)新互聯(lián)
分享地址：http://jinyejixie.com/article30/dpegpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、微信公眾號(hào)、做網(wǎng)站、網(wǎng)站改版、Google、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)