如何解析自定義kafka的parcel庫及CDH安裝kafka服務(wù)無法安裝過去的排雷過程，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

成都創(chuàng)新互聯(lián)主營康巴什網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,App定制開發(fā),康巴什h5微信小程序定制開發(fā)搭建,康巴什網(wǎng)站營銷推廣歡迎康巴什等地區(qū)企業(yè)咨詢

1.版本
CDH5.9.1  安裝KAFKA-2.0.2-1.2.0.2.p0.5-el6     https://archive.cloudera.com/kafka/parcels/2.0/       失敗
CDH5.9.1  安裝KAFKA-2.1.0-1.2.1.0.p0.115-el6  https://archive.cloudera.com/kafka/parcels/2.1.0/      失敗
CDH5.10.0 安裝KAFKA-2.1.1-1.2.1.1.p0.18-el6   https://archive.cloudera.com/kafka/parcels/latest/     失敗

2.錯誤描述
自定義kafka的parcel庫,安裝kafka服務(wù),無法安裝過去。

2.1打開 stdout,stderr,Role Log 三個日志輸出，
我們一般出現(xiàn)問題，只會看Role log的，這時拋錯為"Will not attempt to authenticate using SASL (unknown error)",這時我們就分析kafka連接不上zk,
于是Google，百度等等,各種檢查一大堆，最后沒有解決問題。

2.2具體排查: 

1. 防火墻,

2. 端口號,

3. /etc/hosts文件,

4. zoo.cfg文件,

5. 用戶權(quán)限,

6. kafka的zk jar包(客戶端)和zookeeper的jar包版本,

7. kafka broker進(jìn)程的內(nèi)存太小，直接oom

3.Role log:
Opening socket connection to server sht-sgmhadoopdn-03/172.16.101.60:2181. Will not attempt to authenticate using SASL (unknown error)


4.stdout:
java.lang.OutOfMemoryError: Java heap space


5.stderr:
+ grep -q OnOutOfMemoryError /proc/14495/cmdline
+ RET=0
+ '[' 0 -eq 0 ']'
+ TARGET=14495
++ date
+ echo Thu Mar 30 18:10:20 CST 2017
+ kill -9 14495


6.經(jīng)過n次的排查操作,無效。這時我才仔細(xì)去看stdout 和 stderr日志,發(fā)現(xiàn)這么一句話“OnOutOfMemoryError”，
剛開始我已經(jīng)注意到這句話，但是沒有仔細(xì)去想，所以耗時差不多1.5工作日。

7.我們需要刪除kafka服務(wù)，重新安裝，那么最好也要將kafka的log.dirs參數(shù)的值為"/var/local/kafka/data",這個目錄，安裝的機(jī)器上手工刪除掉。
   
8.于是我們另外打開cdh的home界面,發(fā)現(xiàn)kafka已經(jīng)安裝上，就是啟動失敗，然后去kafka的配置界面搜索"memory"字樣,修改為1G,保存。
 
 
 
9.啟動kafka即可。

 
10.思考
在第一次安裝時，界面中沒有配置這個參數(shù)的值。
為什么，為什么，為什么kafka的在安裝時broker_max_heap_size這個參數(shù)設(shè)置的這么??？

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

本文標(biāo)題：如何解析自定義kafka的parcel庫及CDH安裝kafka服務(wù)無法安裝過去的排雷過程
URL標(biāo)題：http://jinyejixie.com/article38/pgepsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站制作、微信小程序、定制開發(fā)、動態(tài)網(wǎng)站、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)