概述

Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。 這種動作(網(wǎng)頁瀏覽，搜索和其他用戶的行動)是在現(xiàn)代網(wǎng)絡(luò)上的許多社會功能的一個關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實(shí)時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群來提供實(shí)時的消息。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信平臺小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了宜秀免費(fèi)建站歡迎大家使用！

1、kafka 安裝

安裝JDK

tar xvf jdk1.8.0_231.tar.gz  -C /usr/local && cd  /usr/local
ln -sv jdk1.8.0_231 jdk 

vim /etc/profile.d/java.sh
   JAVA_HOME=/usr/local/jdk
   PATH=$JAVA_HOME/bin:$PATH

zookeeper安裝（或使用kafka自帶的）

vim /usr/local/kafka/zookeeper/conf/zoo.cfg  
  tickTime=2000
  initLimit=10
  syncLimit=5
  dataDir=/data/zookeeper
  clientPort=2181
  maxClientCnxns=0

  # 集群版的zookeeper添加如下配置
  # server.1=ip1:2888:3888
  # server.2=ip2:2888:3888
  # server.3=ip3:28888:3888

下載kafka和安裝kakfa

wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

tar xvf kafka_2.11-0.10.2.1.tgz -C /usr/local && cd  /usr/local
ln -sv kafka_2.11-0.10.2.1.tgz kafka

修改kafka啟動內(nèi)存

vim /usr/local/kafka/bin/kafka-server-start.sh
  export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"

kafka啟動和停止

/usr/local/kafka/bin/zookeeper-server-start.sh -deamon /usr/local/kafka/conf/zookeeper.properties

/usr/local/kafka/bin/kafka-server-start.sh -deamon /usr/local/kafka/conf/server.properties

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/conf/zookeeper.properties

單獨(dú)安裝kafka的啟停方式

/usr/local/zookeeper/bin/zkServer.sh stop|stop

2、 kafka 設(shè)置外網(wǎng)訪問（如有需要提供外網(wǎng)訪問）

前提條件

需要一個解析到內(nèi)網(wǎng)ip地址的域名，內(nèi)網(wǎng)環(huán)境也可以設(shè)置/etc/hosts

參數(shù)設(shè)置

host.name=kafka.test.com(對應(yīng)的域名解析需要解到內(nèi)網(wǎng)ip)
高版本已棄用。低版本0.10.2.1可以用， 僅當(dāng)listeners屬性未配置時被使用，已用listeners屬性代替。表示broker的hostname

advertised.listeners=PLAINTEXT://kafka.test.com:9092（高版本用，替代host.name，設(shè)置了advertised.listeners不用設(shè)置host.name）
注冊到zookeeper上并提供給客戶端的監(jiān)聽器，如果沒有配置則使用listeners。

advertised.host.name（不需要設(shè)置，僅作參考）
已棄用。僅當(dāng)advertised.listeners或者listeners屬性未配置時被使用。官網(wǎng)建議使用advertised.listeners

listeners（不需要設(shè)置，僅作參考）
需要監(jiān)聽的URL和協(xié)議，如：PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093。如果未指定該配置，則使用java.net.InetAddress.getCanonicalHostName()函數(shù)的的返回值

修改上broker的/etc/hosts文件

[內(nèi)網(wǎng)ip]   kafka.test.com

修改外網(wǎng)訪問服務(wù)器上的/etc/hosts文件

[外網(wǎng)ip]   kafka.test.com

3、kafka消費(fèi)調(diào)試

生產(chǎn)者

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list IP:9092 --topic TOPIC

消費(fèi)者

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic TOPIC--from-beginning --max-messages 1
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 外網(wǎng)IP:9092 --topic TOPIC --from-beginning --max-messages 1

4、logstash調(diào)試

output {
  stdout { codec => rubydebug { metadata => true }  }
}

5、logstash無法消費(fèi)kakfa日志的問題排查

a、topics_pattern 通配問題".* "，"."一定不能少

    topics_pattern=>"prefix-.*" 

b、filter中匹配規(guī)則,注意要能匹配到kafka中topic，不同的filebeat和不同的logstash版本對應(yīng)的topic元數(shù)據(jù)可能不太一樣，這點(diǎn)需要注意

    if [type] =~ "prefix-*" {
      grok { match =>["[type]","^prefix-(?<index_name>)"] }
    }

    if [kafka][topic] =~ "prefix-*" {
     grok { match => [ "[kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
    }

    if [@metadata][topic] =~ "prefix-*" {
      grok { match =>["[@metadata][topic]","^prefix-(?<index_name>)"] }
    }

    if [@metadata][kafka][topic] =~ "prefix-*" {
     grok { match => [ "[@metadata][kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
    }

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文標(biāo)題：kafka設(shè)置通過外網(wǎng)ip訪問的教程-創(chuàng)新互聯(lián)
當(dāng)前地址：http://jinyejixie.com/article28/dehpcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、品牌網(wǎng)站設(shè)計(jì)、服務(wù)器托管、網(wǎng)站維護(hù)、面包屑導(dǎo)航、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)