kafka集群搭建

• 前言
• 詳細(xì)步驟
• • 1、下載安裝包
  • 2、解壓
  • 3、創(chuàng)建存放kafka消息的目錄
  • 4、修改配置文件
  • 5、分發(fā)kafka安裝目錄
  • 6、編寫kafka集群操作腳本
  • 7、啟動kafka集群
  • 8、測試
  • • 創(chuàng)建主題
    • 查看主題列表
    • 啟動控制臺生產(chǎn)者
    • 啟動控制臺消費者

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了丹棱免費建站歡迎大家使用！前言

大家好，我是風(fēng)云，歡迎大家關(guān)注我的博客，在未來的日子里我們一起來學(xué)習(xí)大數(shù)據(jù)相關(guān)的技術(shù)，一起努力奮斗，遇見更好的自己！
百度百科對Kafka有如下描述：
Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。
具備以下特點：

• 高吞吐量、低延遲：kafka每秒可以處理百萬條消息，它的延遲最低只有幾毫秒，topic可以分多個partition,consumer group對partition進(jìn)行consumer操作
• 可擴展性：kafka集群支持熱擴展
• 持久性、可靠性：消息被持久化到本地磁盤，并且支持?jǐn)?shù)據(jù)備份防止數(shù)據(jù)丟失
• 容錯性：允許集群中節(jié)點失?。ㄈ舾北緮?shù)量為n,則允許n-1個節(jié)點失?。?/li>
• 高并發(fā)：支持?jǐn)?shù)千個客戶端同時讀寫

基于Kafka具備這么多特點，在大數(shù)據(jù)開發(fā)領(lǐng)域已經(jīng)占據(jù)不可或缺的地位，我們在工作中就會不可避免與之打交道，那么搭建Kafka集群就非常有必要了，今天就來分享一下kafka集群搭建的詳細(xì)過程。

詳細(xì)步驟

前期準(zhǔn)備：

1. 準(zhǔn)備三個虛擬機：
   192.168.36.121 hadoop1
192.168.36.122 hadoop2
192.168.36.123 hadoop3
2. 虛擬機上配置有ssh服務(wù)，可以進(jìn)行免密登錄
3. Kafka運行在JVM上，需要安裝JDK
4. kafka依賴zookeeper，需要安裝zookeeper，可以參考我的另一篇文章《zookeeper集群搭建超詳細(xì)教程》

注意：下邊的步驟都是在hadoop1這個節(jié)點上進(jìn)行的操作，除特殊說明外。

1、下載安裝包

cd /opt/module
# 下載kafka安裝包
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2、解壓

# 解壓kafka安裝包
tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka

3、創(chuàng)建存放kafka消息的目錄

cd kafka
mkdir kafka-logs

4、修改配置文件

vim /opt/module/kafka/config/server.properties
# 修改如下參數(shù)
broker.id=0 
listeners=PLAINTEXT://hadoop1:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

參數(shù)說明：
broker.id： 集群內(nèi)全局唯一標(biāo)識，每個節(jié)點上需要設(shè)置不同的值
listeners：這個IP地址也是與本機相關(guān)的，每個節(jié)點上設(shè)置為自己的IP地址
log.dirs：存放kafka消息的
zookeeper.connect： 配置的是zookeeper集群地址

5、分發(fā)kafka安裝目錄

# 分發(fā)kafka安裝目錄給其他集群節(jié)點
scp -r /opt/module/kafka/ hadoop2:/opt/module
scp -r /opt/module/kafka/ hadoop3:/opt/module

分發(fā)完成后，其他集群節(jié)點都需要修改配置文件server.properties中的broker.id和listeners參數(shù)。

6、編寫kafka集群操作腳本

# 導(dǎo)入java環(huán)境
vim /etc/profile
# 添加如下內(nèi)容(注意：填寫自己的java安裝目錄)
export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

cd /opt/module/kafka/bin
# 創(chuàng)建kafka啟動腳本
vim kafka-cluster.sh
# 添加如下內(nèi)容
#!/bin/bash
case $1 in
"start"){for i in hadoop1 hadoop2 hadoop3
	do 
		 echo -------------------------------- $i kafka 啟動 ---------------------------
		ssh $i "source /etc/profile;/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
	done
}
;;
"stop"){for i in hadoop1 hadoop2 hadoop3
	do
		echo -------------------------------- $i kafka 停止 ---------------------------
		ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh"
	done
}
;;
esac

# 保存退出后，修改執(zhí)行權(quán)限
chmod +x ./kafka-cluster.sh

腳本命令說明：

啟動kafka集群命令
./kafka-cluster.sh start

停止kafka集群命令
./kafka-cluster.sh stop

7、啟動kafka集群

首先啟動zookeeper集群
然后執(zhí)行kafka集群腳本啟動命令

cd /opt/module/kafka/bin
./kafka-cluster.sh start

8、測試

kafka集群啟動成功后，我們就可以對kafka集群進(jìn)行操作了。

創(chuàng)建主題

cd /opt/module/kafka
./bin/kafka-topics.sh --create --bootstrap-server hadoop1:9092 --replication-factor 3 --partitions 1 --topic test

查看主題列表

./bin/kafka-topics.sh --list --bootstrap-server hadoop1:9092

啟動控制臺生產(chǎn)者

./bin/kafka-console-producer.sh --broker-list hadoop1:9092 --topic test

啟動控制臺消費者

./bin/kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic test --from-beginning

在生產(chǎn)者控制臺輸入hello kafka，消費者控制臺，就可以消費到生產(chǎn)者的消息，輸出hello kafka，表示消費端成功消費了生產(chǎn)者生產(chǎn)的消息！

至此，我們就順利完成了kafka集群搭建的整個過程！

希望大家都能有所收獲，喜歡的可以點贊和收藏，有疑問的可以在評論區(qū)留言，也歡迎轉(zhuǎn)發(fā)分享給更多的人！

謝謝大家！

-------------- end ----------------

微信公眾號：請掃描下面的二維碼進(jìn)行關(guān)注！

個人微信：請掃描下面的二維碼添加好友！

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

文章名稱：kafka集群搭建超詳細(xì)教程-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://jinyejixie.com/article0/depjio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站內(nèi)鏈、網(wǎng)站排名、標(biāo)簽優(yōu)化、小程序開發(fā)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)