為了實現(xiàn) 實時同步數(shù)據(jù)，在mac環(huán)境搭建了canal，mysql，kafka的一套流程

專注于為中小企業(yè)提供成都網(wǎng)站制作、網(wǎng)站設(shè)計、外貿(mào)網(wǎng)站建設(shè)服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)囊謙免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了1000多家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

使用canal加mysql加kafka的方式傳遞數(shù)據(jù)

mysql 數(shù)據(jù)源頭

canal模仿slave沖mysql取數(shù)據(jù)。。是一個管道

kafka 將canal獲取的數(shù)據(jù)放入kafka 。然后消費（程序獲取kafka的隊列。消費數(shù)據(jù)）

1. mysql安裝

   這個就不詳述了。。不要安裝最新版的mysql。本人親測8.0版本和canal不一定能很好的兼容

   所以。。安裝了mysql5.7

   安裝命令（這樣安裝 安裝的是8.0版本）

   brew install mysql

   2.java安裝

  不管是canal還是kafka都是需要java環(huán)境的。。

   也不能用最新版的java，推薦使用java8也就是jdk8

   最好是從官網(wǎng)oracle下載

安裝方法：

https://blog.csdn.net/oumuv/article/details/84064169

3.canal安裝

在裝calal之前 確保mysql 及 java8 環(huán)境安裝好了

下載地址： https://github.com/alibaba/canal/releases

下載 canal.deployer-1.1.4.tar.gz

在家目錄下面新建一個canal目錄.直接解壓就行

官方文件已經(jīng)編譯好了，不需再編譯

需要添加賬戶（canal@%及canal@local）

在canal/bin目錄下有幾個腳本文件，startup.sh 啟動服務(wù)用的，stop.sh 停止服務(wù)用的

在canal/logs目錄下放的是日志文件。

在canal/conf目錄下放的是配置文件。

實例配置文件

canal/conf/example/instance.properties

實例的配置文件。。決定了 你連接哪個實例的數(shù)據(jù)庫 可以精確到表

instance.properties中比較重要的參數(shù)

#實例

canal.instance.master.address = 127.0.0.1:3306

#db

canal.instance.dbUsername = canal

canal.instance.dbPassword = canal

canal.instance.defaultDatabaseName =test

canal.instance.connectionCharset = UTF-8

#table

# table regex

canal.instance.filter.regex = test.ttt

#mq topic

canal.mq.topic=test12345

上面這樣配置 就代表了。。通過canal連接127.0.0.1中的test庫的ttt表，放到一個叫做test12345的topic里面

驗證canal是否和mysql連接 只需要在mysql的進程里面查看是否有一個復(fù)制連接（因為canal就是模仿了一個slave）

還有一個全局的文件

表示了需要連接的kafka zookeeper等

canal/conf/canal.properties

列舉canal連接kafka的重要參數(shù)

canal.id= 1#如果有多個canal 這個值和集群中的canal不能沖突

canal.ip=172.17.61.113#canal的ip

canal.port= 11111

canal.zkServers=172.17.61.113:2181#zookeeper的ip:port

canal.serverMode = kafka

canal.destinations = example

#mq

canal.mq.servers = 172.17.61.113:9092#kafka的ip:port

上面有些關(guān)于kafka的參數(shù) 是 需要kafka安裝好之后才能陪得（因為已經(jīng)裝好了 所以先列舉出來）

4.kafka安裝

kafka安裝時需要zookeeper的。。

但是一般zookeeper會集成在kafka里面 所以不需要特別單獨安裝（也可以單獨安裝）

mac環(huán)境安裝命令如下

brew install kafka

一直等安裝完成就行

運行kafka是需要依賴于zookeeper的，所以安裝kafka的時候也會包含zookeeper。

kafka的安裝目錄：/usr/local/Cellar/kafka/2.0.0/bin

kafka的配置文件目錄：/usr/local/Cellar/kafka/2.0.0/bin

kafka服務(wù)的配置文件：/usr/local/etc/kafka/server.properties

zookeeper配置文件： /usr/local/etc/kafka/zookeeper.properties 

# server.properties中的重要配置 需要修改的參數(shù)

網(wǎng)頁名稱：mac環(huán)境canal+mysql+kafka的安裝及使用-創(chuàng)新互聯(lián)
分享鏈接：http://jinyejixie.com/article26/dijjcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、手機網(wǎng)站建設(shè)、服務(wù)器托管、網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、虛擬主機

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)