<!--Mon Aug 19 12:45:45 2013-->

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),定興企業(yè)網(wǎng)站建設(shè),定興品牌網(wǎng)站建設(shè),網(wǎng)站定制,定興網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,定興網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

 <configuration>

   <property>

   <name>hbase.rpc.engine</name>

   <value>org.apache.hadoop.hbase.ipc.WritableRpcEngine</value>

 </property>

   <property>

   <name>hbase.hregion.max.filesize</name>

   <value>10737418240</value>

<!--默認(rèn)值：256M:說(shuō)明：在當(dāng)前ReigonServer上單個(gè)Reigon的最大存儲(chǔ)空間，單個(gè)Region超過(guò)該值時(shí)，這個(gè)Region會(huì)被自動(dòng)split成更小的region。 -->

 </property>

   <property>

   <name>hbase.rootdir</name>

   <value>hdfs://hadoop01:8020/apps/hbase/data</value>

 </property>

   <property>

   <name>hfile.block.cache.size</name>

   <value>0.40</value>

<!--默認(rèn)值：0.2:說(shuō)明：storefile的讀緩存占用Heap的大小百分比，0.2表示20%。該值直接影響數(shù)據(jù)讀的性能

調(diào)優(yōu)：當(dāng)然是越大越好，如果寫比讀少很多，開到0.4-0.5也沒問(wèn)題。如果讀寫較均衡，0.3左右。如果寫比讀多，果斷默認(rèn)吧。

設(shè)置這個(gè)值的時(shí)，同時(shí)要參考 hbase.regionserver.global.memstore.upperLimit ，該值是memstore占heap的最大百分比，

兩個(gè)參數(shù)一個(gè)影響讀，一個(gè)影響寫。如果兩值加起來(lái)超過(guò)80-90%，會(huì)有OOM的風(fēng)險(xiǎn)，謹(jǐn)慎設(shè)置。-->

 </property>

   <property>

   <name>hbase.regionserver.global.memstore.upperLimit</name>

   <value>0.4</value>

<!--默認(rèn)值：0.4/0.35 upperlimit說(shuō)明：hbase.hregion.memstore.flush.size 這個(gè)參數(shù)的作用是當(dāng)單個(gè)Region內(nèi)所有的memstore大小總和超過(guò)指定值時(shí)，flush該region的所有memstore。

RegionServer的flush是通過(guò)將請(qǐng)求添加一個(gè)隊(duì)列，模擬生產(chǎn)消費(fèi)模式來(lái)異步處理的。那這里就有一個(gè)問(wèn)題，當(dāng)隊(duì)列來(lái)不及消費(fèi)，產(chǎn)生大量積壓請(qǐng)求時(shí)，可能會(huì)導(dǎo)致內(nèi)存陡增，最壞的情況是觸發(fā)OOM。

  這個(gè)參數(shù)的作用是防止內(nèi)存占用過(guò)大，當(dāng)ReigonServer內(nèi)所有region的memstores所占用內(nèi)存總和達(dá)到heap的40%時(shí)，HBase會(huì)強(qiáng)制block所有的更新并flush這些region以釋放所有memstore占用的內(nèi)存。 -->

 </property>

   <property>

   <name>hbase.regionserver.global.memstore.lowerLimit</name>

   <value>0.38</value>

<!--lowerLimit說(shuō)明： 同upperLimit，只不過(guò)lowerLimit在所有region的memstores所占用內(nèi)存達(dá)到Heap的35%時(shí)，不flush所有的memstore。它會(huì)找一個(gè)memstore內(nèi)存占用最大的region，做個(gè)別flush，此時(shí)寫更新還是會(huì)被block。lowerLimit算是一個(gè)在所有region強(qiáng)制flush導(dǎo)致性能降低前的補(bǔ)救措施。

在日志中，表現(xiàn)為 “** Flush thread woke up with memory above low water.”

調(diào)優(yōu)：這是一個(gè)Heap內(nèi)存保護(hù)參數(shù)，默認(rèn)值已經(jīng)能適用大多數(shù)場(chǎng)景。

   參數(shù)調(diào)整會(huì)影響讀寫，如果寫的壓力大導(dǎo)致經(jīng)常超過(guò)這個(gè)閥值，則調(diào)小讀緩存hfile.block.cache.size增大該閥值，或者Heap余量較多時(shí)，不修改讀緩存大小。

   如果在高壓情況下，也沒超過(guò)這個(gè)閥值，那么建議你適當(dāng)調(diào)小這個(gè)閥值再做壓測(cè)，確保觸發(fā)次數(shù)不要太多，然后還有較多Heap余量的時(shí)候，調(diào)大hfile.block.cache.size提高讀性能。-->

 </property>

 <property>

   <name>hbase.hregion.memstore.block.multiplier</name>

   <value>2</value>

<!--默認(rèn)值：2:說(shuō)明：當(dāng)一個(gè)region里的memstore占用內(nèi)存大小超過(guò)hbase.hregion.memstore.flush.size兩倍的大小時(shí)，block該region的所有請(qǐng)求，進(jìn)行flush，釋放內(nèi)存。

調(diào)優(yōu)： 這個(gè)參數(shù)的默認(rèn)值還是比較靠譜的。如果你預(yù)估你的正常應(yīng)用場(chǎng)景（不包括異常）不會(huì)出現(xiàn)突發(fā)寫或?qū)懙牧靠煽兀敲幢３帜J(rèn)值即可。

如果正常情況下，你的寫請(qǐng)求量就會(huì)經(jīng)常暴長(zhǎng)到正常的幾倍，那么你應(yīng)該調(diào)大這個(gè)倍數(shù)并調(diào)整其他參數(shù)值，比如hfile.block.cache.size和hbase.regionserver.global.memstore.upperLimit/lowerLimit，以預(yù)留更多內(nèi)存，防止HBase server OOM。-->

 </property>

   <property>

   <name>dfs.support.append</name>

   <value>true</value>

 </property>

   <property>

   <name>hbase.zookeeper.quorum</name>

   <value>hadoop04,hadoop05,hadoop06,hadoop07</value>

 </property>

   <property>

   <name>zookeeper.session.timeout</name>

   <value>60000</value>

<!--默認(rèn): 180000 ：zookeeper 會(huì)話超時(shí)時(shí)間，單位是毫秒 -->

 </property>

   <property>

   <name>hbase.superuser</name>

   <value>hbase</value>

 </property>

   <property>

   <name>hbase.cluster.distributed</name>

   <value>true</value>

 </property>

   <property>

   <name>hbase.client.keyvalue.maxsize</name>

   <value>10485760</value>

<!--默認(rèn): 10485760 :一個(gè)KeyValue實(shí)例的最大size.這個(gè)是用來(lái)設(shè)置存儲(chǔ)文件中的單個(gè)entry的大小上限。因?yàn)橐粋€(gè)KeyValue是不能分割的，

所以可以避免因?yàn)?數(shù)據(jù)過(guò)大導(dǎo)致region不可分割。明智的做法是把它設(shè)為可以被最大region  size整除的數(shù)。如果設(shè)置為0或者更小，就會(huì)禁用這個(gè)檢查。默認(rèn)10MB。  -->

 </property>

   <property>

   <name>hbase.zookeeper.property.clientPort</name>

   <value>2181</value>

<!--默認(rèn): 2181 :ZooKeeper的zoo.conf中的配置。 客戶端連接的端口 -->

 </property>

   <property>

   <name>hbase.hstore.blockingStoreFiles</name>

   <value>7</value>

<!--默認(rèn): 7 : 當(dāng)一個(gè)HStore含有多于這個(gè)值的HStoreFiles(每一個(gè)memstore flush產(chǎn)生一個(gè)HStoreFile)的時(shí)候，會(huì)執(zhí)行一個(gè)合并操作，update會(huì)阻塞直到合并完成，直到超過(guò)了hbase.hstore.blockingWaitTime的值

調(diào)優(yōu)：block寫請(qǐng)求會(huì)嚴(yán)重影響當(dāng)前regionServer的響應(yīng)時(shí)間，但過(guò)多的storefile也會(huì)影響讀性能。從實(shí)際應(yīng)用來(lái)看，為了獲取較平滑的響應(yīng)時(shí)間，可將值設(shè)為無(wú)限大。如果能容忍響應(yīng)時(shí)間出現(xiàn)較大的波峰波谷，那么默認(rèn)或根據(jù)自身場(chǎng)景調(diào)整即可。-->

 </property>

 <property>

   <name>hbase.hstore.blockingWaitTime</name>

   <value>90000</value>

<!--20140314添加

默認(rèn): 90000 :hbase.hstore.blockingStoreFiles所限制的StoreFile數(shù)量會(huì)導(dǎo)致update阻塞，這個(gè)時(shí)間是來(lái)限制阻塞時(shí)間的。當(dāng)超過(guò)了這個(gè)時(shí)間，HRegion會(huì)停止阻塞update操作，不過(guò)合并還有沒有完成。默認(rèn)為90s.-->

 </property>

 <property>

   <name>hbase.hstore.compactionThreshold</name>

   <value>3</value>

<!--默認(rèn): 3 ：當(dāng)一個(gè)HStore含有多于這個(gè)值的HStoreFiles(每一個(gè)memstore flush產(chǎn)生一個(gè)HStoreFile)的時(shí)候，會(huì)執(zhí)行一個(gè)合并操作，把這HStoreFiles寫成一個(gè)。這個(gè)值越大，需要合并的時(shí)間就越長(zhǎng)。-->

 </property>

   <property>

   <name>hbase.hregion.majorcompaction</name>

   <value>86400000</value>

<!--默認(rèn): 86400000 :一個(gè)Region中的所有HStoreFile的major compactions的時(shí)間間隔。默認(rèn)是1天。設(shè)置為0就是禁用這個(gè)功能。-->

 </property>

   <property>

   <name>hbase.security.authorization</name>

   <value>false</value>

 </property>

   <property>

   <name>hbase.zookeeper.useMulti</name>

   <value>true</value>

 </property>

   <property>

   <name>hbase.client.scanner.caching</name>

   <value>100</value>

<!--默認(rèn): 1  :當(dāng)調(diào)用Scanner的next方法，而值又不在緩存里的時(shí)候，從服務(wù)端一次獲取的行數(shù)。越大的值意味著Scanner會(huì)快一些，但是會(huì)占用更多的內(nèi)存。

當(dāng)緩沖被占滿的時(shí)候，next方法調(diào)用會(huì)越來(lái)越慢。慢到一定程度，可能會(huì)導(dǎo)致超時(shí)。例如超過(guò)了 hbase.regionserver.lease.period。 -->

 </property>

   <property>

   <name>hbase.defaults.for.version.skip</name>

   <value>true</value>

 </property>

   <property>

   <name>zookeeper.znode.parent</name>

   <value>/hbase-unsecure</value>

 </property>

   <property>

   <name>hbase.hregion.memstore.flush.size</name>

   <value>134217728</value>

<!--默認(rèn): 67108864 :當(dāng)memstore的大小超過(guò)這個(gè)值的時(shí)候，會(huì)flush到磁盤。這個(gè)值被一個(gè)線程每隔hbase.server.thread.wakefrequency檢查一下。-->

 </property>

   <property>

   <name>hbase.regionserver.handler.count</name>

   <value>60</value>

<!--默認(rèn): 10  :RegionServers受理的RPC Server實(shí)例數(shù)量。對(duì)于Master來(lái)說(shuō)，這個(gè)屬性是Master受理的handler數(shù)量.-->

 </property>

   <property>

   <name>hbase.hregion.memstore.mslab.enabled</name>

   <value>true</value>

<!--默認(rèn): false  :體驗(yàn)特性：?jiǎn)⒂胢emStore分配本地緩沖區(qū)。這個(gè)特性是為了防止在大量寫負(fù)載的時(shí)候堆的碎片過(guò)多。這可以減少GC操作的頻率。

說(shuō)明：減少因內(nèi)存碎片導(dǎo)致的Full GC，提高整體性能。-->

 </property>

   <property>

   <name>hbase.security.authentication</name>

   <value>simple</value>

 </property>

   <property>

   <name>hbase.tmp.dir</name>

   <value>/var/log/hbase</value>

 </property>

   <property>      

   <name>hbase.master.info.bindAddress</name>      

   <value>hadoop03</value>  

   <description>Enter the HBase Master server hostname</description>

 </property>

 </configuration>

本文標(biāo)題：hadoop2.2.X配置參數(shù)說(shuō)明：hbase-site.xml
當(dāng)前路徑：http://jinyejixie.com/article34/jojcse.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、企業(yè)建站、網(wǎng)站營(yíng)銷、外貿(mào)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)