一、概念

1、什么是kafka

Kafka是由Apache軟件基金會開發(fā)的一個(gè)開源的分布式流處理平臺，由LinkedIn公司開發(fā)，使用 Scala和Java編寫。Kafka是一個(gè)分布式、分區(qū)的、多副本的、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)），它可以處理消費(fèi)者在網(wǎng)站中的所有動作流數(shù)據(jù)。

專業(yè)領(lǐng)域包括成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、商城網(wǎng)站定制開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)， 與其他網(wǎng)站設(shè)計(jì)及系統(tǒng)開發(fā)公司不同，創(chuàng)新互聯(lián)的整合解決方案結(jié)合了幫做網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗(yàn)和互聯(lián)網(wǎng)整合營銷的理念，并將策略和執(zhí)行緊密結(jié)合，為客戶提供全網(wǎng)互聯(lián)網(wǎng)整合方案。

• Kafka在一個(gè)或多個(gè)可以跨越多個(gè)數(shù)據(jù)中心的服務(wù)器上作為集群運(yùn)行。

• Kafka集群將記錄流存儲在稱為topic的類別中。

• 每個(gè)記錄由一個(gè)鍵，一個(gè)值和一個(gè)時(shí)間戳組成。

2、流平臺具有三個(gè)關(guān)鍵功能：

• 發(fā)布和訂閱記錄流，類似于消息隊(duì)列或企業(yè)消息傳遞系統(tǒng)。

• 以容錯(cuò)的持久方式存儲記錄流。

• 處理記錄流。

3、解決什么問題

Kafka主要設(shè)計(jì)目標(biāo)如下：

• 以時(shí)間復(fù)雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數(shù)據(jù)也能保證常數(shù)時(shí)間的訪問性能。

• 高吞吐率。即使在非常廉價(jià)的商用機(jī)器上也能做到單機(jī)支持每秒100K條消息的傳輸。

• 支持Kafka Server間的消息分區(qū)，及分布式消費(fèi)，同時(shí)保證每個(gè)partition內(nèi)的消息順序傳輸。

• 同時(shí)支持離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理。

• Scale out:支持在線水平擴(kuò)展

Kafka通常用于兩大類應(yīng)用程序：

• 建立實(shí)時(shí)流數(shù)據(jù)管道，以可靠地在系統(tǒng)或應(yīng)用程序之間獲取數(shù)據(jù)

• 構(gòu)建實(shí)時(shí)流應(yīng)用程序以轉(zhuǎn)換或響應(yīng)數(shù)據(jù)流

4、在Kafka中，客戶端和服務(wù)器之間的通信是通過簡單，高性能，與語言無關(guān)的TCP協(xié)議完成的。該協(xié)議已版本化，并與舊版本保持向后兼容性。提供了Java客戶端，但是客戶端支持多種語言。

二、安裝部署kafka

下載地址：http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz

kafka最為重要三個(gè)配置依次為：broker.id、log.dir、zookeeper.connect，kafka server端config/server.properties參數(shù)

vim config/server.properties

·公布訪問地址和端口

advertised.listeners=PLAINTEXT://192.168.3.100:9092

配置zookeeper

默認(rèn)localhost:2181,如果是其他的zookeeper改為相應(yīng)地址

zookeeper.connect=localhost:2181

啟動kafka

[root@node1 bin]# ./kafka-server-start.sh ../config/server.properties

 注：此方法為前臺啟動，若需要后臺啟動，則在上面命令的最后加上 &

檢測是否啟動 netstat -tunlp | egrep "(2181|9092)"

測試發(fā)送信息和消費(fèi)消息

創(chuàng)建主題

[root@node1 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

啟動生產(chǎn)者

[root@node1 bin]#./kafka-console-producer.sh --broker-list localhost:9092 --topic test

啟動消費(fèi)者

[root@node1 bin]#./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

生產(chǎn)者發(fā)布消息

[root@node1 bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>is successfully
>good night
>

消費(fèi)者接收到消息

[root@node1 bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hallo
;
你好
is successfully
good night

注：消費(fèi)者中會出現(xiàn)一些歷史消息

由于啟動添加了--from-beginning參數(shù)，所以會把過往消息也顯示，省略該參數(shù)，即可不顯示歷史消息就！



如果該文章對你有所幫助，請點(diǎn)個(gè)贊支持下，謝謝！

本文標(biāo)題：消息中間件--kafka（1）安裝部署-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://jinyejixie.com/article16/dpsegg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、網(wǎng)站排名、全網(wǎng)營銷推廣、虛擬主機(jī)、Google、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)