1、HDFS

創(chuàng)新互聯(lián)專注于企業(yè)全網(wǎng)營銷推廣、網(wǎng)站重做改版、正藍(lán)網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5頁面制作、商城系統(tǒng)網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為正藍(lán)等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

HDFS（Hadoop Distributed File System）是Hadoop項(xiàng)目的核心子項(xiàng)目，是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的，可以運(yùn)行于廉價(jià)的商用服務(wù)器上。它所具有的高容錯(cuò)、高可靠性、高可擴(kuò)展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ)，為超大數(shù)據(jù)集（Large Data Set）的應(yīng)用處理帶來了很多便利。

2、HDFS

HDFS 源于 Google 在2003年10月份發(fā)表的GFS（Google File System） 論文。

3、HDFS的優(yōu)缺點(diǎn)

 優(yōu)點(diǎn)：

1、高容錯(cuò)性

• 數(shù)據(jù)自動(dòng)保存多個(gè)副本。它通過增加副本的形式，提高容錯(cuò)性。

• 某一個(gè)副本丟失以后，它可以自動(dòng)恢復(fù)，這是由 HDFS 內(nèi)部機(jī)制實(shí)現(xiàn)的，我們不必關(guān)心。

2、適合批處理

• 它是通過移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)。

• 它會(huì)把數(shù)據(jù)位置暴露給計(jì)算框架。

3、適合大數(shù)據(jù)處理

• 處理數(shù)據(jù)達(dá)到 GB、TB、甚至PB級(jí)別的數(shù)據(jù)。

• 能夠處理百萬規(guī)模以上的文件數(shù)量，數(shù)量相當(dāng)之大。

• 能夠處理10K節(jié)點(diǎn)的規(guī)模。

4、流式文件訪問

• 簡化一致性模型，實(shí)現(xiàn)一次寫入，多次讀取。文件一旦寫入不能修改，只能追加。

• 它能保證數(shù)據(jù)的一致性。

5、可構(gòu)建在廉價(jià)機(jī)器上

• 它通過多副本機(jī)制，提高可靠性。

• 它提供了容錯(cuò)和恢復(fù)機(jī)制。比如某一個(gè)副本丟失，可以通過其它副本來恢復(fù)。

缺點(diǎn)：

1、低延時(shí)數(shù)據(jù)訪問

         * 比如毫秒級(jí)的來存儲(chǔ)數(shù)據(jù)，這是不行的，它做不到。

         * 它適合高吞吐率的場景，就是在某一時(shí)間內(nèi)寫入大量的數(shù)據(jù)。但是           它在低延時(shí)的情況下是不行的，比如毫秒級(jí)以內(nèi)讀取數(shù)據(jù)，這樣它           是很難做到的。

2、小文件存儲(chǔ)

        *存儲(chǔ)大量小文件(這里的小文件是指小于HDFS系統(tǒng)的Block大小的文         件（默認(rèn)64M）)的話，它會(huì)占用 NameNode大量的內(nèi)存來存儲(chǔ)文           件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存總是有          限的。

        *小文件存儲(chǔ)的尋道時(shí)間會(huì)超過讀取時(shí)間，它違反了HDFS的設(shè)計(jì)目           標(biāo)。

3、并發(fā)寫入、文件隨機(jī)修改

        *一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫。

        *僅支持?jǐn)?shù)據(jù) append（追加），不支持文件的隨機(jī)修改。

 hdfs的特性：

      * 高容錯(cuò)，可擴(kuò)展性及可配置性強(qiáng)

      * 跨平臺(tái)

      * shell命令接口

      * 機(jī)架感知功能

      * 負(fù)載均衡

      Web界面

4.HDFS存儲(chǔ)數(shù)據(jù)

HDFS 采用Master/Slave的架構(gòu)來存儲(chǔ)數(shù)據(jù)，這種架構(gòu)主要由HDFS Client、NameNode、DataNode和Secondary NameNode四個(gè)部分組成。

1、Client：就是客戶端。

• 文件切分。文件上傳 HDFS 的時(shí)候，Client 將文件切分成 一個(gè)一個(gè)的Block，然后進(jìn)行存儲(chǔ)。

• 與 NameNode 交互，獲取文件的位置信息。

• 與 DataNode 交互，讀取或者寫入數(shù)據(jù)。

• Client 提供一些命令來管理 HDFS，比如啟動(dòng)或者關(guān)閉HDFS。

• Client 可以通過一些命令來訪問 HDFS。

2、NameNode：就是 master，它是一個(gè)主管、管理者。

• 管理 HDFS 的名稱空間

• 管理數(shù)據(jù)塊（Block）映射信息

• 配置副本策略

• 處理客戶端讀寫請(qǐng)求。

  

3、DataNode：就是Slave。NameNode 下達(dá)命令，DataNode 執(zhí)行實(shí)際的操作。

• 存儲(chǔ)實(shí)際的數(shù)據(jù)塊。

• 執(zhí)行數(shù)據(jù)塊的讀/寫操作。

4、Secondary NameNode：并非 NameNode 的熱備。當(dāng)NameNode 掛掉的時(shí)候，它并不能馬上替換 NameNode 并提供服務(wù)。

• 輔助 NameNode，分擔(dān)其工作量。

• 定期合并 fsimage和fsedits，并推送給NameNode。

• 在緊急情況下，可輔助恢復(fù) NameNode。

工作流程：

      secondarynamenode通知namenode切換edits文件

      secondarynamenode從namenode獲得fsimage和edits(通過http)

      secondarynamenode將fsimage載入內(nèi)存，然后開始合并edits

      secondarynamenode將新的fsimage發(fā)回給namenode

      namenode用新的fsimage替換舊的fsimage

5.數(shù)據(jù)損壞處理

     * 當(dāng)DN（DataNode）讀取block的時(shí)候，它會(huì)計(jì)算checksum；

     * 如果計(jì)算后的checksum，與block創(chuàng)建時(shí)值不一樣，說明該block已經(jīng)損壞。

     * client讀取其它DN上的block；NN(NameNode)標(biāo)記該塊已經(jīng)損壞，然后復(fù)制block達(dá)到預(yù)期設(shè)置的文件備份數(shù)；

     * DN在其文件創(chuàng)建后三周驗(yàn)證其checksum。

  關(guān)注大數(shù)據(jù)and機(jī)器學(xué)習(xí)公眾號(hào)，一起開創(chuàng)未來。

CLbigdata

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享題目：淺談HDFS架構(gòu)-創(chuàng)新互聯(lián)
文章位置：http://jinyejixie.com/article12/ccssgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、網(wǎng)站策劃、企業(yè)建站、Google、外貿(mào)網(wǎng)站建設(shè)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)