Hadoop中namenode和secondarynamenode的工作機制是什么，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

為云溪等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及云溪網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都網(wǎng)站設計、做網(wǎng)站、云溪網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

1）流程

2)FSImage和Edits

nodenode是HDFS的大腦,它維護著整個文件系統(tǒng)的目錄樹,以及目錄樹里所有的文件和目錄,這些信息以倆種文件存儲在文件系統(tǒng):一種是命名空間鏡像(也稱為文件系統(tǒng)鏡像,File System Image,FSImage),即HDFS元數(shù)據(jù)的完整快照,每次NameNode啟動的時候,默認會加載最新的命名空間鏡像,另一種是命令空間鏡像的編輯日志(Edit log)。

FSImage文件其實是文件系統(tǒng)元數(shù)據(jù)的一個永久性檢查點,但并非每一個寫操作都會更新這個文件,因為FSImage是一個大型文件,如果頻繁地執(zhí)行寫操作,會使系統(tǒng)運行極為緩慢。解決方案是NameNode只將改動內(nèi)容預寫日志,即寫入命名空間鏡像的編輯日志.隨著時間的推移,編輯日志會變得越來越大,那么一旦發(fā)生故障,將會話費非常多的時間來回滾操作,所以就像傳統(tǒng)的關系數(shù)據(jù)庫一樣,需要定期地合并FSImage和編輯日志。如果由NameNode來做合并操作,那么NameNode在為集群提供服務時可能無法提供足夠的資源,為了徹底解決這一問題,SecondaryNameNode應允而生。

3）第一階段：namenode 啟動

• （1）第一次啟動 namenode 格式化后，創(chuàng)建 fsimage 和 edits 文件。如果不是第一次啟動，直接加載編輯日志和鏡像文件到內(nèi)存。

• （2）客戶端對元數(shù)據(jù)進行增刪改的請求。

• （3）namenode 記錄操作日志，更新滾動日志。

• （4）namenode 在內(nèi)存中對數(shù)據(jù)進行增刪改查。

4）第二階段：Secondary NameNode 工作

• （1）Secondary NameNode 詢問 namenode 是否需要 checkpoint。直接帶回 namenode 是否檢查結果。

• （2）Secondary NameNode 請求執(zhí)行 checkpoint。

• （3）Secondary NameNode引導namenode 滾動更新編輯正在寫的 edits 日志。

• （4） Secondary NameNode載入FSImage文件,回放編輯日志,將其合并到FSImage,將新的FSImage文件壓縮后寫入磁盤。

• （5）拷貝 fsimage到 namenode。

• （6）namenode 將 fsimage重新命名成 fsimage。

默認情況下,該過程每小時發(fā)生一次,或者當NameNode的編輯日志文件到達默認的64MB也會觸發(fā)。

關于Hadoop中namenode和secondarynamenode的工作機制是什么問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關知識。

文章名稱：Hadoop中namenode和secondarynamenode的工作機制是什么
網(wǎng)頁網(wǎng)址：http://jinyejixie.com/article2/pspjoc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、外貿(mào)建站、網(wǎng)站營銷、定制開發(fā)、面包屑導航、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)