如何實(shí)現(xiàn)spark thriftserver運(yùn)維，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、肥東網(wǎng)絡(luò)推廣、成都小程序開發(fā)、肥東網(wǎng)絡(luò)營(yíng)銷、肥東企業(yè)策劃、肥東品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供肥東建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：jinyejixie.com

spark thriftserver運(yùn)維：

在root@spark_master_machine機(jī)器上

啟動(dòng) thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/start-thriftserver.sh \

  --hiveconf hive.server2.thrift.port=10000 \

  --hiveconf hive.server2.thrift.bind.host=spark_master_machine  \

  --master  spark://spark_master_machine:7077  --executor-memory 24g  --executor-cores 8  --total-executor-cores 136 --driver-memory 10g --driver-java-options -XX:MaxPermSize=2g

停止 thriftserver

/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/stop-thriftserver.sh 

note：

1.為了spark thrift server指定比較多的core：配置了spark-defaults.conf里spark.driver.cores

通過(guò)./sbin/start-thriftserver.sh -–help 可以用來(lái)查看可以使用哪些參數(shù),沒(méi)有發(fā)現(xiàn)driver-cores的指定方式，為了指定thrift server可以使用多少個(gè)core，在spark-defaults.conf中指定(不要在這臺(tái)機(jī)器提交spark 任務(wù)，去腳本機(jī)器提交任務(wù))

#

spark-defaults.conf配置如下：

spark.master                    spark://spark_master_machine:7077 

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs:/namenodewithoutport/user/root/kk

spark.driver.cores               10

#

2.指定total-executor-cores來(lái)限制ExecutorID產(chǎn)生的數(shù)量。

如果--executor-cores 6 --total-executor-cores 102 --executor-memory 16g，

每個(gè)worker如果還閑置6core，以及16內(nèi)存， 那么Executor產(chǎn)生兩個(gè)，導(dǎo)致使用掉worker機(jī)器所分配的最大內(nèi)存(這里分配了32g)，也就會(huì)產(chǎn)生34個(gè)Executor

3.(防止beeline報(bào)錯(cuò)，MaxPermSize不夠，增加配置--driver-java-options -XX:MaxPermSize=2g,配置了這個(gè)，也只是thriff server這個(gè)spark driver program MaxPermSize變化了，這個(gè)app的executor還是-XX:MaxPermSize=128m)

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

網(wǎng)頁(yè)題目：如何實(shí)現(xiàn)sparkthriftserver運(yùn)維
網(wǎng)頁(yè)地址：http://jinyejixie.com/article28/ghopjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、搜索引擎優(yōu)化、定制網(wǎng)站、微信小程序、軟件開發(fā)、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)