?1下載并安裝JDK

參考jdk的安裝，需要jdk1.6+。

成都創(chuàng)新互聯(lián)專注于管城企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站設(shè)計,商城網(wǎng)站建設(shè)。管城網(wǎng)站建設(shè)公司,為管城等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站設(shè)計，專業(yè)設(shè)計，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

2????Kafka的安裝

????2.1 下載kafka

下載地址：http://mirrors.hust.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

????2.2 解壓安裝包

$ tar zvxf kafka_2.11-0.10.0.1.tgz

2.3?????復(fù)制解壓后的文件夾到安裝目錄

$ cp -r?kafka_2.11-0.10.0.1 /software/

2.4?????創(chuàng)建kafka安裝目錄的軟鏈接

$ ln -s /software/kafka_2.11-0.10.0.1/software/kafka

2.5?????配置環(huán)節(jié)變量

修改/etc/profile文件內(nèi)容：

export KAFKA_HOME=/software/kafka

export PATH=$KAFKA_HOME/bin:$FLUME_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:

? ? ? ? ? ? ? ? $JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export CLASSPATH=.:$KAFKA_HOME/libs/*:$FLUME_HOME/lib/*:$HBASE_HOME/lib/*:$JAVA_

????????HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2.6?????啟動kafka

1）、啟動kafka前要先啟動zookeeper

$ zookeeper-server-start.sh /software/kafka/config/zookeeper.properties &

2）、啟動kafka

$ kafka-server-start.sh /software/kafka/config/server.properties &

3????體驗(yàn)單節(jié)點(diǎn)Kafka

????3.1 創(chuàng)建topic

$ kafka-topics.sh --create --zookeeperlocalhost:2181 --replication-factor 1 --partitions 1 --topic test

查詢創(chuàng)建的topic

$ kafka-topics.sh --list --zookeeperlocalhost:2181

????3.2 發(fā)送消息

$ kafka-console-producer.sh --broker-listlocalhost:9092 --topic test

This is a message

This is another message

????3.3 消費(fèi)消息

$ kafka-console-consumer.sh --bootstrap-serverlocalhost:9092 --zookeeper localhost:2181 --topic test --from-beginning

This is a message

This is another message

4????搭建多broker的Kafka集群

????4.1 復(fù)制配置文件

$ cd /software/kafka/config/

$ cp server.properties s1.properties

$ cp server.properties s2.properties

$ cp server.properties s3.properties

????4.2 修改配置文件

config/s1.properties:

broker.id=1

listeners=PLAINTEXT://:9093

log.dir=/tmp/kafka-logs-1

config/s2.properties:

broker.id=2

listeners=PLAINTEXT://:9094

log.dir=/tmp/kafka-logs-2

config/s3.properties:

broker.id=3

listeners=PLAINTEXT://:9095

log.dir=/tmp/kafka-logs-3

4.3?????啟動kafka

$ kafka-server-start.sh /software/kafka/config/s1.properties &

$ kafka-server-start.sh /software/kafka/config/s2.properties &

$ kafka-server-start.sh /software/kafka/config/s3.properties&

4.4?????創(chuàng)建topic

$ kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

查看topic描述

$ kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

4.5?????發(fā)送消息

$ kafka-console-producer.sh --broker-listlocalhost:9093 --topic my-replicated-topic

my test msg 1

my test msg 2

my test msg 3

4.6?????消費(fèi)消息

$ kafka-console-consumer.sh--zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

5????容錯測試

????5.1 找到s1進(jìn)程

$ ps -ef| grep s1.properties

????5.2 殺死進(jìn)程s1

kill pid

????5.3 查看主題描述

$>kafka-topics.sh --describe --zookeeperlocalhost:2181 --topic my-replicated-topic

Topic:my-replicated-topic????? PartitionCount:1?????? ????????????????ReplicationFactor:3??? Configs:

Topic: my-replicated-topic???? Partition: 0?? Leader: 2????? Replicas:1,2,0 Isr: 2,0

????5.4 啟動消費(fèi)者消費(fèi)主題消息

$>kafka-console-consumer.sh--zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

????????my?test?message?1

????????my?test?message?2

6????完全分布式搭建

????6.1 將kafka安裝文件夾分發(fā)到其余集群服務(wù)器

$ xsync kafka_2.11-0.10.0.1/

$ xsync kafka

????6.2 分發(fā)環(huán)境變量

#xsync /etc/profile

?6.3?????修改server.properties屬性文件并分發(fā)

broker.id=203 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?#修改broker的id

log.dirs=/home/hadoop/kafka/logs ? ? ? ? ? ? ? ? ? #修改日志的存放路徑

zookeeper.connect=s201:2181,s202:2181,s203:2181??? #修改zookeeper的連接路徑

6.4?????啟動Kafka集群

到部署kafka每臺服務(wù)器上面啟動kafka集群

$ kafka-server-start.sh /software/kafka/config/server.properties &

$ kafka-server-start.sh /software/kafka/config/server.properties &

$ kafka-server-start.sh /software/kafka/config/server.properties &

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站標(biāo)題：Kafka安裝部署-創(chuàng)新互聯(lián)
分享鏈接：http://jinyejixie.com/article26/jecjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、網(wǎng)站改版、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)