zookeeper的定義

zookeeper是分布式應(yīng)用程序的高性能協(xié)調(diào)服務(wù)，顧名思義，zookeeper用來保存分布式應(yīng)用程序的多個(gè)節(jié)點(diǎn)之間的狀態(tài)、配置等信息，以確保分布式程序的正確、高速運(yùn)行。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了盤山免費(fèi)建站歡迎大家使用！

zookeeper集群角色：leader、follower、觀察者（集群訪問量大時(shí)，增加Observer角色）

1 客戶端訪問zookeeper時(shí)，連接到leader與連接到follower之間的區(qū)別？

• leader可處理事務(wù)操作（增刪改），且所有的事務(wù)操作只能由leader處理，其他角色接收到事務(wù)請(qǐng)求時(shí)，需轉(zhuǎn)發(fā)給leader；
• follower只能處理非事務(wù)型操作（讀操作）；
• follower可參與集群leader選舉；
• Observer功能：增加非事務(wù)型請(qǐng)求（讀操作）的橫向擴(kuò)展性；當(dāng)讀操作的需求量特別大時(shí)，可通過增減觀察者節(jié)點(diǎn)的方式來提高集群性能。

2 集群搭建

• 機(jī)器數(shù)量：zookeeper集群選舉leader時(shí)使用posix算法，所以一般選擇奇數(shù)臺(tái)機(jī)器（2n+1）
• zookeeper集群需要配置sun java環(huán)境（sun JDK）
• 部署leader+follower集群（https://www.cnblogs.com/wrong5566/p/6056788.html）
  • 集群的主機(jī)間設(shè)置每臺(tái)機(jī)器的hosts
  • 修改zookeeper的配置zoo.cfg（zookeeper啟動(dòng)時(shí)，如果未顯示指定配置文件，則默認(rèn)讀取conf目錄下的zoo.cfg配置文件）
  • 新建myid文件
  • 配置zookeeper目錄及配置的環(huán)境變量

zookeeper數(shù)據(jù)模型

zookeeper的數(shù)據(jù)模型是樹（猜測是b+樹，但未進(jìn)行確認(rèn)），
1 樹上每個(gè)節(jié)點(diǎn)被稱為Znode；Znode由3部分組成：stat（znode的狀態(tài)信息）、data（znode中的數(shù)據(jù)信息）和children（znode子節(jié)點(diǎn)的信息）
2 節(jié)點(diǎn)Znode的特點(diǎn)：

• Znode 既可以作為文件存儲(chǔ)數(shù)據(jù)，也可以作為目錄；
• Znode 上的操作具有原子性；
• Znode 節(jié)點(diǎn)限制存放文件的大?。ù?M）；
• Znode 的訪問需要使用絕對(duì)路徑。

3 Znode節(jié)點(diǎn)的屬性：

• dataVersion：局部值，當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)版本；每次對(duì)當(dāng)前節(jié)點(diǎn)設(shè)置值后，當(dāng)前節(jié)點(diǎn)的dataVersion值都加1，默認(rèn)為0;
• cversion：局部值，當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)版本號(hào)；子節(jié)點(diǎn)每次發(fā)生變化后，cversion的值都加1，默認(rèn)為0;
• cZxid：全局值，創(chuàng)建當(dāng)前節(jié)點(diǎn)的事務(wù)id；每當(dāng)創(chuàng)建一個(gè)新的znode后，cZxid的值都加1;
• mZxid：全局值，當(dāng)前節(jié)點(diǎn)最近一次被修改的事務(wù)id；任意Znode被修改后，mzxid的值加1，其中mZxid與cZxid沒有必然的聯(lián)系;
• pZxid：全局值，Znode子節(jié)點(diǎn)最近一次被創(chuàng)建時(shí)的cZxid;
• ephemeralOwner：局部值，記錄臨時(shí)節(jié)點(diǎn)的session id，如果非臨時(shí)節(jié)點(diǎn)，值為0;
• dataLength：局部值，當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)長度（字節(jié)）;
• numChildren：子znode的數(shù)量;

zookeeper節(jié)點(diǎn)類型

1. 臨時(shí)節(jié)點(diǎn)：臨時(shí)節(jié)點(diǎn)依賴于會(huì)話，創(chuàng)建臨時(shí)節(jié)點(diǎn)的會(huì)話結(jié)束時(shí)，臨時(shí)節(jié)點(diǎn)將被刪除;且臨時(shí)節(jié)點(diǎn)不允許擁有子節(jié)點(diǎn);
2. 永久節(jié)點(diǎn)：永久節(jié)點(diǎn)的生命周期不依賴于會(huì)話，可以擁有子節(jié)點(diǎn);

zookeeper shell

- jps查看zookeeper進(jìn)程：QuorumPeerMain
- 連接zookeeper集群：zkCli.sh -server zookeeper:2181
- 創(chuàng)建節(jié)點(diǎn)：create [-s] [-e] path data acl; -s表示順序節(jié)點(diǎn)、-e表示臨時(shí)節(jié)點(diǎn)
- 讀取節(jié)點(diǎn)：ls path [watch] 獲取節(jié)點(diǎn)的子節(jié)點(diǎn)、get path [watch] 獲取節(jié)點(diǎn)保存的數(shù)據(jù)和節(jié)點(diǎn)屬性信息、ls2 path [watch] 獲取節(jié)點(diǎn)的子節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)屬性信息
- 更新節(jié)點(diǎn)數(shù)據(jù)：set path data [version] 
- 刪除節(jié)點(diǎn)：delete path [version]、rmr path 遞歸刪除數(shù)據(jù)

zookeeper選舉機(jī)制

- 算法：FastLeaderElection
- 選舉算法用到的概念：
    服務(wù)器ID：數(shù)值型，編號(hào)越大權(quán)重越大
    選舉狀態(tài)：
        LOOKING，觀望狀態(tài)
        FOLLOWING，隨從狀態(tài)，
        OBSERVING，觀察者狀態(tài)，同步leader狀態(tài)，不參與選舉
        LEADING，領(lǐng)導(dǎo)者狀態(tài)
    數(shù)據(jù)ID：最新寫入的數(shù)據(jù)的ID
    邏輯時(shí)鐘：每輪投票，邏輯時(shí)鐘的次數(shù)相同;（根據(jù)邏輯時(shí)鐘判斷集群中的節(jié)點(diǎn)是否不穩(wěn)定）
- 新集群選舉：
    1. 前提：
        1.1. 每個(gè)機(jī)器都給自己投票;
        1.2. 投票數(shù)過半，選舉結(jié)束; 
    2. 思路：集群中的機(jī)器啟動(dòng)后，給自己投一票，然后開始與其他機(jī)器交換投票結(jié)果，如果沒有其他機(jī)器可以交換，則進(jìn)入LOOKING狀態(tài)；如果有其他機(jī)器可以交換投票，則根據(jù)服務(wù)器ID大小，服務(wù)器ID小的機(jī)器將自己的票投給服務(wù)器ID大的機(jī)器;當(dāng)有一臺(tái)機(jī)器拿到過半的票數(shù)時(shí)，將結(jié)束選舉；同一集群中，先啟動(dòng)服務(wù)的機(jī)器將有更大的機(jī)會(huì)獲得leader。
- 運(yùn)行中的集群選舉：
    1. 前提同上;此時(shí)選舉需要用數(shù)據(jù)ID、服務(wù)器ID、邏輯時(shí)鐘
    2. 思路：首先，同一邏輯時(shí)鐘，邏輯時(shí)鐘小的被淘汰，邏輯時(shí)鐘相同的機(jī)器將重新投票；然后，機(jī)器中數(shù)據(jù)ID大的勝出；如果數(shù)據(jù)ID相同，那么服務(wù)器ID大的勝出。

zookeeper的應(yīng)用場景：

1. 數(shù)據(jù)發(fā)布與訂閱;
2. 命名服務(wù);
3. 分布式鎖;

數(shù)據(jù)發(fā)布與訂閱中心（配置中心）

- 發(fā)布者將數(shù)據(jù)發(fā)布到zookeeper中，訂閱者來獲取新的數(shù)據(jù)更新自己的配置;
- 注意點(diǎn)：
    1. 統(tǒng)一管理的數(shù)據(jù)不能太大;
- 原理：
    1. 所有訂閱者首次啟動(dòng)時(shí)，訪問zk指定的節(jié)點(diǎn)獲取相關(guān)的訂閱信息;
    2. 獲取數(shù)據(jù)的同時(shí)，設(shè)置對(duì)節(jié)點(diǎn)數(shù)據(jù)變化的監(jiān)聽; zk.getData(path, true);設(shè)置對(duì)指定path的監(jiān)聽
    3. 被監(jiān)聽的path上的節(jié)點(diǎn)數(shù)據(jù)發(fā)生改變時(shí)，監(jiān)聽被觸發(fā)，所有對(duì)次path的訂閱者將收到zookeeperde通知，然后訪問zookeeper獲取新的配置信息;
    4. 獲取數(shù)據(jù)時(shí)，再次對(duì)path設(shè)置監(jiān)聽;
- 疑問：zookeeper中的數(shù)據(jù)發(fā)生改變時(shí)，zookeeper如何通知訂閱者？給訂閱者發(fā)送了什么通知？

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：bigdata-zookeeper筆記（一）-創(chuàng)新互聯(lián)
文章分享：http://jinyejixie.com/article14/diosde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、面包屑導(dǎo)航、域名注冊(cè)、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站營銷、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)