云計算

這篇文章主要為大家展示了“HDFS中元數(shù)據(jù)的示例分析”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“HDFS中元數(shù)據(jù)的示例分析”這篇文章吧。

宜川網(wǎng)站制作公司哪家好，找成都創(chuàng)新互聯(lián)！從網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、APP開發(fā)、成都響應式網(wǎng)站建設等網(wǎng)站項目制作，到程序開發(fā)，運營維護。成都創(chuàng)新互聯(lián)從2013年創(chuàng)立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設就選成都創(chuàng)新互聯(lián)。

我們都知道Hadoop的底層是HDFS-Hadoop Distributed File System.也就是Hadoop分布式文件系統(tǒng)。

所有的運算都是基于HDFS文件的，它的核心關鍵詞有：主從NameNode VS DataNode.

-----------其中NameNode上存儲的就是元數(shù)據(jù)---描述數(shù)據(jù)文件的meta信息。

存在形式有：內存信息+硬盤文件信息。

這段時間，就讓我們一起來了解HDFS的元數(shù)據(jù)以及HDFS文件系統(tǒng)的要義吧。

-------------------------------------------------------------------------------------------------

試想，如果讓我們自己設計一個文件系統(tǒng)，我們需要元數(shù)據(jù)存儲哪些信息？

其實這取決于信息得到哪些功能？

個人認為功能包括：

1）namenode和所有datanode的IP,端口，文件夾，容量等信息。這相當于一個總體的文件系統(tǒng)框架描述。

2）每個datanode的文件的層次描述，文件目錄關系。這個比1就更細致了。

3）對于某個文件，知道拆分了幾塊，每塊的大小，備份情況，分別分布在哪些datanode上的哪些路徑上。

從1我們可以得到分布式文件系統(tǒng)框架的骨架，從2我們可以得到分布式文件系統(tǒng)的血肉，從3我們可以得到具體的訪問一個文件的方式。

有了以上3個，實際上就是namenode的元數(shù)據(jù)信息的組成部分，一切從應用的需求出發(fā)才可以得到設計圖。

-------------------------------------------------------------------------------------------------

啟動時，元數(shù)據(jù)從硬盤里被FSImage讀取到內存中。

在持久化時，元數(shù)據(jù)被FSImage持久化到硬盤中。

同時硬盤中也會存放操作日志edits.我目前的理解是：把操作日志的行為累加起來---》最終的元數(shù)據(jù)。

這個也就像是redis里干的一樣了。很多數(shù)據(jù)庫也是這么操作的，這個沒啥好說的，很簡答！

-------------------------------------------------------------------------------------------------

HDFS也引入了INode,這實際上跟linux中的文件系統(tǒng)中的INode是一樣的，其次就是由于是分布式文件系統(tǒng)

所以每個文件的分片在hdfs中就成了Block。塊。

這里必須要強調：塊是按照物理大小分的，而不是分局邏輯大小，這樣會引入什么問題？

就是一個邏輯記錄可能會分到2個塊中，而這2個塊可能還是跨機器的。

這些hadoop都會解決。以后再討論。

以上是“HDFS中元數(shù)據(jù)的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當前名稱：HDFS中元數(shù)據(jù)的示例分析
本文來源：http://jinyejixie.com/article40/chojeo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、網(wǎng)站排名、網(wǎng)站收錄、手機網(wǎng)站建設、商城網(wǎng)站、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)