這篇文章主要講解了“hbase內(nèi)存分配分析”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hbase內(nèi)存分配分析”吧！

“只有客戶發(fā)展了，才有我們的生存與發(fā)展！”這是成都創(chuàng)新互聯(lián)公司的服務(wù)宗旨！把網(wǎng)站當作互聯(lián)網(wǎng)產(chǎn)品，產(chǎn)品思維更注重全局思維、需求分析和迭代思維，在網(wǎng)站建設(shè)中就是為了建設(shè)一個不僅審美在線，而且實用性極高的網(wǎng)站。創(chuàng)新互聯(lián)對網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計、網(wǎng)站制作、網(wǎng)站開發(fā)、網(wǎng)頁設(shè)計、網(wǎng)站優(yōu)化、網(wǎng)絡(luò)推廣、探索永無止境。

    1、hbase-env.sh中的內(nèi)存配置
        hbase-env.sh中可以配置很多東西，比如hbase的heap大小，hbase的gc策略等等。其實主要就是heap的大小和GC相關(guān)的參數(shù)。
        1）對于heap，也就是HBASE_HEAPSIZE，默認為1G，配置這個，相當于所有的hbase守護進程的heap都使用這個大小，hbase守護進程有這么幾個，HMaster、HregionServicer、thrift、Zookeeper相關(guān)進程，這里面Zookeeper只的應(yīng)該是hbase自帶的zookeeper，生成環(huán)境一般不會使用它，在我們的環(huán)境中也不會使用到thrift，那么對于HBASE_HEAPSIZE相當于給HMaster、HregionServicer配置的堆內(nèi)存大小。
        在網(wǎng)上我看到有篇文章說不要直接配置HBASE_HEAPSIZE，因為默認是所有的守護進程都會使用HBASE_HEAPSIZE這么大的內(nèi)存，對于HBASE_ZOOKEEPER，是內(nèi)存的浪費。這確實有道理，但在我們系統(tǒng)中并沒有啟動這些進程，所以暫時可以不考慮每一個守護進程分配不同的內(nèi)存大小。
        我們目前的系統(tǒng)是使用export HBASE_HEAPSIZE=16384，16G的內(nèi)存，這個數(shù)字從哪來呢？相信這還得查看官網(wǎng)，官網(wǎng)不是萬能的，但不看官網(wǎng)是萬萬不能的。一下是官網(wǎng)的一段話： 
   Thus, ~20-24Gb or less memory dedicated to one RS is recommended
        我的英文不是很好，前一句的大概意思是regionserver因為GC的原因不能分配太大的內(nèi)存，這句就不用我翻譯了吧。20~24GB或者更小比較適合。嘿嘿。當然這個參數(shù)跟很多因素有關(guān)，以后我會再深入總結(jié)影響這個內(nèi)存參數(shù)的因素。姑且先這么多。

    2）GC配置
        不要以為配置了上面的參數(shù)就完了，因為你可能會遇到很多情況。比如OOM。為什么？這就要說到j(luò)ava的內(nèi)存機制了，簡要說說吧，以后會有JVM調(diào)優(yōu)的專題。
        
        上圖是JVM 分代垃圾收集系統(tǒng)的圖表，簡要說一下：

        這里有 3 個堆分代：Perm（或是 Permanent）代【永久代】，Old Generation 代【老年代】，和 Young 代【年輕代】。年輕代由三個獨立的空間組成，Eden 空間和兩個 survivor 空間，S0 和 S1。
        通常，對象被分配在年輕代的 Eden 空間，如果一個分配失?。?strong>Eden 滿了），所有 java 線程停止，并且一個年輕代 GC（Minor GC）被調(diào)用。所有在年輕代存活的對象（Eden 和 S0 空間）被拷貝到 S1 空間。如果 S1 空間滿了，對象被拷貝（提升）到老年代。當這個提升失敗，老年代被收集（Major/Full GC）。永久代和老年代通常一起被收集。永久代被用于在存放類和對象中定義的方法。

        回到本話題，我們設(shè)置GC的參數(shù)為
        export HBASE_OPTS="$HBASE_OPTS -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=60 -XX:+UseParNewGC -XX:ParallelGCThreads=6"
        簡要說明一下，
        -XX:+UseConcMarkSweepGC 表示年老代并發(fā)收集；
        對于老年代來說， 它可以更早的開始回收。當分配在老年代的空間比率超過了一個閥值，CMS 開始運行。如果 CMS 開始的太晚，HBase 或許會直接進行 full garbage collection。這種情況會導(dǎo)致block所有的線程，如果這個時間過長，就會導(dǎo)致hbase連接超時，結(jié)果就是regionserver集體下線。這是不能容忍額。為了避免這種情況的發(fā)生，我們建議設(shè)置 -XX:CMSInitiatingOccupancyFraction JVM 參數(shù)來精確指定在多少百分比 CMS 應(yīng)該被開始，正如上面的配置中做的那樣。在 百分之 60 或 70 開始是一個好的實踐。當老年代使用 CMS，默認的年輕代 GC 將被設(shè)置成 Parallel New Collector。
        再來看看hbase為什么可能進行full gc，如果我們不配置-XX:CMSInitiatingOccupancyFraction，jdk1.5以后會使用默認值90%，那么很可能，當老年代內(nèi)存占用超過分配給他的內(nèi)存大小的90%，會進行CMS（老年代的回收），但是不會阻止年輕代到老年代的遷移，如果遷移過快，CMS較慢，會出現(xiàn)老年代內(nèi)存使用率100%，這時會導(dǎo)致full gc。如果我們把這個參數(shù)調(diào)整小一點，那么能給年輕帶到老年代遷移的同時做CMS時一些時間，也就減少了full gc的發(fā)生。當然這可能會頻繁的gc，但總比整個hbase掛掉的好不是么？

感謝各位的閱讀，以上就是“hbase內(nèi)存分配分析”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hbase內(nèi)存分配分析這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！

當前標題：hbase內(nèi)存分配分析
網(wǎng)頁URL：http://jinyejixie.com/article38/ijggsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、網(wǎng)站設(shè)計公司、定制開發(fā)、小程序開發(fā)、Google、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)