這篇文章主要為大家展示了“分布式存儲架構(gòu)IPFS和HDFS的示例分析”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“分布式存儲架構(gòu)IPFS和HDFS的示例分析”這篇文章吧。

成都創(chuàng)新互聯(lián)公司是一家從事企業(yè)網(wǎng)站建設(shè)、成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、外貿(mào)營銷網(wǎng)站建設(shè)、行業(yè)門戶網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計制作的專業(yè)網(wǎng)站建設(shè)公司，擁有經(jīng)驗豐富的網(wǎng)站建設(shè)工程師和網(wǎng)頁設(shè)計人員，具備各種規(guī)模與類型網(wǎng)站建設(shè)的實力，在網(wǎng)站建設(shè)領(lǐng)域樹立了自己獨特的設(shè)計風(fēng)格。自公司成立以來曾獨立設(shè)計制作的站點近千家。

分布式存儲架構(gòu)是一個復(fù)雜的系統(tǒng)工程，針對特定應(yīng)用的數(shù)據(jù)存儲有不同的系統(tǒng)架構(gòu)解決方案。不同的存儲方法會影響存儲性能、存儲成本、冗余度、工程復(fù)雜性等。

分布式存儲的歷史

分布式存儲最早是由谷歌提出的，其目的是通過廉價的服務(wù)器來解決大規(guī)模，高并發(fā)場景下的 Web 訪問問題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于后期服務(wù)器擴(kuò)展。

分布式存儲的崛起

分布式存儲的興起與互聯(lián)網(wǎng)的發(fā)展密不可分，互聯(lián)網(wǎng)公司由于其大數(shù)據(jù)、輕資產(chǎn)的特點，通常使用大規(guī)模分布式存儲系統(tǒng)。

與傳統(tǒng)的高端服務(wù)器、高端存儲器和高端處理器不同的是，互聯(lián)網(wǎng)公司的分布式存儲系統(tǒng)由數(shù)量眾多的、低成本和高性價比的普通 PC 服務(wù)器通過網(wǎng)絡(luò)連接而成。由于互聯(lián)網(wǎng)的業(yè)務(wù)發(fā)展迅猛，使得存儲系統(tǒng)架構(gòu)不能依靠傳統(tǒng)的縱向擴(kuò)展的方式，即先買小型機(jī)，不夠時再買中型機(jī)，甚至大型機(jī)?；ヂ?lián)網(wǎng)后端的分布式系統(tǒng)要求支持橫向擴(kuò)展，即通過增加普通 PC 服務(wù)器來提高存儲系統(tǒng)的整體處理能力。

另外，隨著服務(wù)器的不斷加入，需要能夠在軟件層面實現(xiàn)自動負(fù)載均衡，使得系統(tǒng)的處理能力得到線性擴(kuò)展。在這種情況下，分布式存儲的成為大多數(shù)企業(yè)的必然選擇。

分布式存儲的發(fā)展

如果客戶端需要從某個文件讀取數(shù)據(jù)，首先從 NameNode 獲取該文件的位置，然后從該 NameNode 獲取具體的數(shù)據(jù)。在該架構(gòu)中 NameNode 通常是主備部署（ Secondary NameNode ），而 DataNode 則是由大量節(jié)點構(gòu)成一個集群。由于元數(shù)據(jù)的訪問頻度和訪問量相對數(shù)據(jù)都要小很多，因此 NameNode 通常不會成為性能瓶頸，而 DataNode 集群中的數(shù)據(jù)可以有副本，既可以保證高可用性，可以分散客戶端的請求。因此，通過這種分布式存儲架構(gòu)可以通過這種分布式存儲架構(gòu)可以通過橫向擴(kuò)展 datanode 的數(shù)量來增加承載能力，也即實現(xiàn)了動態(tài)橫向擴(kuò)展的能力。

HDFS的功能

1）數(shù)據(jù)的分布式存儲和處理。

2）Hadoop 提供了一個命令接口來與 HDFS 進(jìn)行交互。

3）namenode 和 datanode 的內(nèi)置服務(wù)器可幫助用戶輕松檢查群集的狀態(tài)。

4）對文件系統(tǒng)數(shù)據(jù)的流式處理訪問。

5）HDFS 提供文件權(quán)限和身份驗證。

HDFS的架構(gòu)

下面給出的是 Hadoop 文件系統(tǒng)的體系結(jié)構(gòu)

3.Block

通常，用戶數(shù)據(jù)存儲在 HDFS 的文件中。文件系統(tǒng)中的文件將分為一個或多個片段存儲在單個數(shù)據(jù)節(jié)點中。這些文件段稱為block。換句話說，HDFS 可以讀取或?qū)懭氲淖钚?shù)據(jù)量稱為block。默認(rèn)塊大小為 64MB，可以根據(jù) HDFS 配置進(jìn)行更改。

HDFS的特點

1、故障檢測和恢復(fù) – 由于 HDFS 包含大量產(chǎn)品硬件，組件故障頻繁。因此，HDFS 應(yīng)具有快速自動故障檢測和恢復(fù)的機(jī)制。

2、數(shù)據(jù)集的管理 – HDFS 每個群集都有數(shù)百個節(jié)點來管理具有大型數(shù)據(jù)集的應(yīng)用程序。

3、數(shù)據(jù)硬件處理 – 當(dāng)計算在數(shù)據(jù)物理附近時，可以高效地完成請求的任務(wù)。特別是在涉及大量數(shù)據(jù)集時，它減少了網(wǎng)絡(luò)流量并提高了吞吐量。

IPFS的簡介

IPFS（Inter Planetary File System），又叫星際文件系統(tǒng)。IPFS在2015年開啟，目前已經(jīng)有5年時間了。IPFS和Filecoin一直熱度不斷，影響力也是越來越大。在這里我們先撇開區(qū)塊鏈部分的Filecoin不談，重點分析下IPFS在分布式存儲方面的應(yīng)用。

2.重復(fù)內(nèi)容清理

IPFS網(wǎng)絡(luò)中會對重復(fù)的內(nèi)容進(jìn)行去重處理，在保證整個網(wǎng)絡(luò)存儲文件的冗余量的同時保證網(wǎng)絡(luò)的輕便與快捷。

4.通過節(jié)點尋址查找要查看或下載的文件時，用戶需要讓網(wǎng)絡(luò)找到對應(yīng)內(nèi)容的存儲節(jié)點，然后確定所需求的文件內(nèi)容。

從上述的原理中我們可以清晰地看出，在存儲方面IPFS與傳統(tǒng)的分布式存儲是完全不同的，是完全去中心化的。

HDFS與IPFS對比

BMJ是基于IPFS設(shè)計的一種新的互聯(lián)網(wǎng)協(xié)議下的分布式存儲技術(shù)，其目標(biāo)是永久存儲數(shù)據(jù)，消除網(wǎng)絡(luò)上的重復(fù)，并獲取存儲在網(wǎng)絡(luò)計算機(jī)上的信息的地址，未來它會是一個開源項目。

作為分布式存儲的領(lǐng)航者，BMJ目前正在快速布局，未來形成包括云存儲、云計算、大數(shù)據(jù)的產(chǎn)業(yè)集群，可以更好的引領(lǐng)傳統(tǒng)企業(yè)升級轉(zhuǎn)型，推動整個新經(jīng)濟(jì)的發(fā)展。

以上是“分布式存儲架構(gòu)IPFS和HDFS的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

文章標(biāo)題：分布式存儲架構(gòu)IPFS和HDFS的示例分析
標(biāo)題網(wǎng)址：http://jinyejixie.com/article36/ggedsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、自適應(yīng)網(wǎng)站、網(wǎng)頁設(shè)計公司、Google、網(wǎng)站策劃、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)