成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

消息中間件的四種投遞模式對比-創(chuàng)新互聯(lián)

消息中間件的四種投遞模式對比

成都創(chuàng)新互聯(lián)主要為客戶提供服務(wù)項目涵蓋了網(wǎng)頁視覺設(shè)計、VI標志設(shè)計、營銷型網(wǎng)站建設(shè)、網(wǎng)站程序開發(fā)、HTML5響應(yīng)式成都網(wǎng)站建設(shè)、手機網(wǎng)站制作、微商城、網(wǎng)站托管及成都網(wǎng)站維護、WEB系統(tǒng)開發(fā)、域名注冊、國內(nèi)外服務(wù)器租用、視頻、平面設(shè)計、SEO優(yōu)化排名。設(shè)計、前端、后端三個建站步驟的完善服務(wù)體系。一人跟蹤測試的建站服務(wù)標準。已經(jīng)為衛(wèi)生間隔斷行業(yè)客戶提供了網(wǎng)站營銷服務(wù)。

消息中間件( Message Oriented Middleware,簡稱MOM)在企業(yè)開發(fā)中變得越來越重要。本文介紹消息中間件中的四種消息投遞模型,主要是介紹模型的核心特性,以及不同模型之前的區(qū)別。這四種模型分別是:

  • PTP模型

  • Pub/Sub模型

  • Partition模型

  • Transfer模型

其中PTP模型和Pub/Sub模型在JMS規(guī)范中有定義,消息中間件ActiveMQ就實現(xiàn)了JMS規(guī)范。然而一些消息中間件,并沒有實現(xiàn)JMS規(guī)范,而是自己設(shè)計出了一套模型,例如Kafka和RocketMQ就采用了Partition模型。此外業(yè)界還有一些其他的消息投遞模型,例如Transfer模型,這是筆者自己起的名字。

1、PTP模型

Point-to-Point,點對點通信模型。PTP是基于隊列(Queue)的,一個隊列可以有多個生產(chǎn)者,和多個消費者。消息服務(wù)器按照收到消息的先后順序,將消息放到隊列中。隊列中的每一條消息,只能由一個消費者進行消費,消費之后就會從隊列中移除。

消息中間件的四種投遞模式對比

需要注意的是,盡管這里使用Queue的概念,但并不是先進入隊列消息,一定會被先消費。在存在多個下游Consumer情況下,一些消息中間件,例如ActiveMQ,為了提升消費能力,會將隊列中的消息分發(fā)到不同Consumer并行進行處理。這意味著消息發(fā)送的時候可能是有序的,但是在消費的時候,就變成無序了。為了保證消費的有序,一些MQ提供了"專有消費者”或者"排他消費者”的概念,在這種情況下,隊列中的消息僅允許一個消費者進行消費,如果存在多個消費者,那么從中選擇一個。但是,這意味著在消息在處理中沒有了并行性。如果消息量很多的情況下,將會產(chǎn)生消息積壓。為了解決"專有消費者”的性能問題,一些消息中間件采用分區(qū)的概念來解決性能問題,我們將在后文進行介紹。

2、Pub/Sub模型

publish-and- subscribe, 即發(fā)布訂閱模型。在Pub/Sub模型中,生產(chǎn)者將消息發(fā)布到一個主題(Topic)中,訂閱了該Topic的所有下游消費者,都可以接收到這條消息。如下圖:

消息中間件的四種投遞模式對比

通常情況下,一個條消息只要被消費一次就行了,那么什么情況下需要所有的消費者都對這條消息進行消費呢?最典型的情況就是需要在內(nèi)存中對數(shù)據(jù)進行緩存,并需要實時進行更新。例如,筆者做過一個違禁詞系統(tǒng),對用戶輸入的評論內(nèi)容進行違禁詞匯檢測。這個違禁詞系統(tǒng),部署了在N臺服務(wù)器上,為了提升檢測性能,每臺機器都會將違禁詞庫全量加載到內(nèi)存中,詞庫的更新,是通過發(fā)送MQ消息來完成的。由于采用Pub/Sub模型,每臺機器的consumer,都可以接收到這條消息,直接在內(nèi)存中更新敏感詞庫即可。

3、Partition模型

為了解決在PTP模型下,有序消息需要通過"專有消費者”消費帶來的性能問題,一些消息中間件,如rocketmq,kafka采用了Partition模型,即分區(qū)模型,如下所示:

消息中間件的四種投遞模式對比

生產(chǎn)者發(fā)送消息到某個Topic中時,最終選擇其中一個Partition進行發(fā)送。你可以將Parition模型中的分區(qū),理解為PTP模型的隊列,不同的是,PTP模型中的隊列存儲的是所有的消息,而每個Partition只會存儲部分數(shù)據(jù)。對于消息者,此時多了一個消費者組的概念,Paritition會在同一個消費者組下的消費者中進行分配,每個消費者只消費分配給自己的Paritition。上圖演示了不同的消費者可能會分配到不同數(shù)量的Paritition。Paritition模式巧妙的將PTP模型和Pub/Sub模型結(jié)合在了一起:

對于PTP模型:

一條消息只會由一個消費者進行消費,而Partition模型中每個分區(qū)最終也只會有一個消費者進行消費。對于通過"專有消費者"來保證全局消費有序的場景,在Partition模型中,只需保證創(chuàng)建的Topic只有一個Partition即可,這個Paritition最終也只會分配其中一個消費者。另外,在絕大部分場景下,我們沒有必要保證全局有序,例如一個訂單產(chǎn)生了3條消息,分別是訂單創(chuàng)建,訂單付款,訂單完成。消費時,要按照這個順序消費才能有意義。但是訂單之間是可以并行消費的,例如將訂單1產(chǎn)生的3條消息發(fā)送到Partiton 1,將訂單2產(chǎn)生的3條消息發(fā)送到Partition 2,如此便達到了不同訂單之間的并行消費。

對于Pub/Sub模型:

一條消息所有的下游消費者都可以進行消費。在Paritition模型中,只需要為每個消費者設(shè)置成不同的消費者組即可。然而,過多的消費者組,會給消息中間件運維帶來麻煩。所以一些消息中間件,結(jié)合了Partition模型和Pub/Sub模型。例如RocketMQ,支持為消費者組設(shè)置消費模式,如果是集群模式,就按照上述描述進行消費,如果是廣播模式,就按照Pub/Sub模型進行消費。當然,Partition模型也不全是優(yōu)點,其大的限制在于Partition數(shù)量是固定的(雖然可以調(diào)整),且只可以分配給其中一個消費者。當消費者的數(shù)量大于Partition數(shù)量時,這些多出來的消費者將無法消費到消息。一些消息中間件對此進行了優(yōu)化,例如rocketmq,支持單個partition的并行消費。即在對單個消費者內(nèi),同時啟動多個線程,來消費這個Partition中的數(shù)據(jù),當然前提是要求消息不是有序的,對于有序的消息,只能使用一個線程按順序消費這個Partition中的數(shù)據(jù)。

4、Transfer模型

Paritition模型中的消費者組概念很有用,同一個Topic下的消息可以由多個不同業(yè)務(wù)方進行消費,只要使用不同的消費者組即可,不同消費者組消費到的位置單獨記錄,互不影響。?但是,Paritition模型還是限制了消費者數(shù)量不能多于分區(qū)數(shù)。因此,又有了另外一種消費模型,筆者稱之為Transfer模型,如下圖所示:

消息中間件的四種投遞模式對比

生產(chǎn)者還是將消息發(fā)送到Topic中,針對一個Topic,可以創(chuàng)建多個通道,這里稱之為channel。與分區(qū)不同的是,發(fā)送到Topic中的每條消息,都會轉(zhuǎn)發(fā)到每個channel,因此每個channel都有這個Topic的全量數(shù)據(jù)。當然,沒有必要把真的把消息體完整的拷貝一份到channel中,可以只記錄一下消息元數(shù)據(jù),表示有一條放到這個channel中了。消費者在消費消息時,必須指定從哪個channel消費。多個消費者消費同一個channel時,每條消息只會有一個消費者消費達到,這一點與PTP模型類似。事實上,我們可以認為,消費了同一個channel的消費者,就自動組成了一個消費者組。但是,與Partition模型不同的是,這里沒有分區(qū)的概念,因此消費者的數(shù)量可以是任意的。事實上,GO語言編寫的NSQ消息中間件,采用的就是這種模型。當然,這種模型與PTP一樣,也不能保證被消息有序,除非通過類似于”專用消費者”的概念。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章名稱:消息中間件的四種投遞模式對比-創(chuàng)新互聯(lián)
文章分享:http://jinyejixie.com/article30/egsso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁設(shè)計公司網(wǎng)站制作、建站公司、網(wǎng)站維護微信小程序、靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)
新津县| 西贡区| 大城县| 岑巩县| 玛沁县| 玛沁县| 彝良县| 灵台县| 麻江县| 普格县| 吉安县| 上虞市| 马边| 阳原县| 离岛区| 永寿县| 博爱县| 陇川县| 修水县| 丰原市| 萍乡市| 洛南县| 盖州市| 师宗县| 绍兴市| 象州县| 和平区| 阜南县| 万州区| 泸水县| 两当县| 安平县| 宁晋县| 大名县| 探索| 高邑县| 邹城市| 金阳县| 富平县| 松潘县| 全州县|