這篇文章主要講解了“hadoop心跳時(shí)間與冗余快清除方法是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop心跳時(shí)間與冗余快清除方法是什么”吧！

在靈寶等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作定制網(wǎng)站建設(shè),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),營銷型網(wǎng)站,成都外貿(mào)網(wǎng)站建設(shè)公司,靈寶網(wǎng)站建設(shè)費(fèi)用合理。

1.Hadoop datanode節(jié)點(diǎn)超時(shí)時(shí)間設(shè)置

datanode進(jìn)程死亡或者網(wǎng)絡(luò)故障造成datanode無法與namenode通信，namenode不會立即把該節(jié)點(diǎn)判定為死亡，要經(jīng)過一段時(shí)間，這段時(shí)間暫稱作超時(shí)時(shí)長。HDFS默認(rèn)的超時(shí)時(shí)長為10分鐘+30秒。如果定義超時(shí)時(shí)間為timeout，則超時(shí)時(shí)長的計(jì)算公式為：
timeout = 2 * heartbeat.recheck.interval + 10 *dfs.heartbeat.interval。
而默認(rèn)的heartbeat.recheck.interval大小為5分鐘，dfs.heartbeat.interval默認(rèn)為3秒。
需要注意的是hdfs-site.xml配置文件中的heartbeat.recheck.interval的單位為毫秒，dfs.heartbeat.interval的單位為秒。所以，舉個(gè)例子，如果heartbeat.recheck.interval設(shè)置為5000（毫秒），dfs.heartbeat.interval設(shè)置為3（秒，默認(rèn)），則總的超時(shí)時(shí)間為40秒。
hdfs-site.xml中的參數(shù)設(shè)置格式：
<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>1</value>
</property>

2.HDFS冗余數(shù)據(jù)塊的自動刪除

在日常維護(hù)hadoop集群的過程中發(fā)現(xiàn)這樣一種情況：
某個(gè)節(jié)點(diǎn)由于網(wǎng)絡(luò)故障或者DataNode進(jìn)程死亡，被NameNode判定為死亡，HDFS馬上自動開始數(shù)據(jù)塊的容錯(cuò)拷貝；當(dāng)該節(jié)點(diǎn)重新添加到集群中時(shí)，由于該節(jié)點(diǎn)上的數(shù)據(jù)其實(shí)并沒有損壞，所以造成了HDFS上某些block的備份數(shù)超過了設(shè)定的備份數(shù)。通過觀察發(fā)現(xiàn)，這些多余的數(shù)據(jù)塊經(jīng)過很長的一段時(shí)間才會被完全刪除掉，那么這個(gè)時(shí)間取決于什么呢？
該時(shí)間的長短跟數(shù)據(jù)塊報(bào)告的間隔時(shí)間有關(guān)。Datanode會定期將當(dāng)前該結(jié)點(diǎn)上所有的BLOCK信息報(bào)告給Namenode，
參數(shù)dfs.blockreport.intervalMsec就是控制這個(gè)報(bào)告間隔的參數(shù)。

hdfs-site.xml文件中有一個(gè)參數(shù)：
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>3600000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>

其中3600000為默認(rèn)設(shè)置，3600000毫秒，即1個(gè)小時(shí)，也就是說，塊報(bào)告的時(shí)間間隔為1個(gè)小時(shí)，所以經(jīng)過了很長
時(shí)間這些多余的塊才被刪除掉。通過實(shí)際測試發(fā)現(xiàn)，當(dāng)把該參數(shù)調(diào)整的稍小一點(diǎn)的時(shí)候（60秒），多余的數(shù)據(jù)塊
確實(shí)很快就被刪除了。

感謝各位的閱讀，以上就是“hadoop心跳時(shí)間與冗余快清除方法是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hadoop心跳時(shí)間與冗余快清除方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！

網(wǎng)站欄目：hadoop心跳時(shí)間與冗余快清除方法是什么-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://jinyejixie.com/article20/dhdoco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、網(wǎng)站制作、App設(shè)計(jì)、網(wǎng)站內(nèi)鏈、網(wǎng)站排名、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)