本篇內(nèi)容主要講解“Storm基本架構(gòu)是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Storm基本架構(gòu)是什么”吧!

成都創(chuàng)新互聯(lián)是一家專注網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷策劃、微信小程序開發(fā)、電子商務(wù)建設(shè)、網(wǎng)絡(luò)推廣、移動互聯(lián)開發(fā)、研究、服務(wù)為一體的技術(shù)型公司。公司成立十多年以來，已經(jīng)為上千余家塑料袋各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務(wù)。現(xiàn)在，服務(wù)的上千余家客戶與我們一路同行，見證我們的成長；未來，我們一起分享成功的喜悅。

目前常用的流式實時計算引擎分為兩類：面向行和面向微批處理，其中面向行的流式實時計算引擎的代表是Apache Storm，典型特點(diǎn)是延遲低，但吞吐率也低。而面向微批處理的流式實時計算引擎代表是Spark Streaming，其典型特點(diǎn)是延遲高，但吞吐率也高。

主流的流式數(shù)據(jù)線分四個階段：

1、數(shù)據(jù)采集：負(fù)責(zé)從不同數(shù)據(jù)源上實時采集數(shù)據(jù)，可選包括Flume以及自定義Kafka Producer

2、數(shù)據(jù)緩沖：為了平衡數(shù)據(jù)采集速率與數(shù)據(jù)處理速率不對等。eg：Kafka

3、實時分析：流式地從數(shù)據(jù)緩沖區(qū)獲取數(shù)據(jù)，并快速完成數(shù)據(jù)處理。比如：Storm和Spark Streaming

4、結(jié)果存儲：將計算結(jié)果存儲到外部系統(tǒng)，比如：大量可實時查詢的系統(tǒng)，可存儲Hbase中，小量但需要可高并發(fā)查詢系統(tǒng)，可存儲redis。

Storm：

基本概念：

1、Tuple:由一組可序列化的元素構(gòu)成。

2、Stream：無限個Tuple組成一個Stream

3、Topology：類似與MapReduce的job，由一系列Spout和Blot構(gòu)成的DAG

4、Spout：Stream的數(shù)據(jù)源

5、Bolt：消息處理邏輯

基本架構(gòu)：

1、Nimbus:集群的管理和調(diào)度組件

2、Supervisor：計算組件

3、Zookeeper：Nimbus和Supervisor之前的協(xié)調(diào)組件。

Spark Streaming：

基本概念：核心思想是把流式處理轉(zhuǎn)化為“微批處理”，即以時間為單位切分?jǐn)?shù)據(jù)流，每個切片內(nèi)的數(shù)據(jù)對應(yīng)一個RDD，進(jìn)而采用Spark引擎進(jìn)行快速計算。正是由于Spark Streaming采用了微批處理方式，因此只能將其作為近實時處理系統(tǒng)，而不是嚴(yán)格意義上的實時流式處理。

Spark Streaming 對流式數(shù)據(jù)做了進(jìn)一步抽象，它將流式數(shù)據(jù)批處理化，每一批數(shù)據(jù)被抽象成RDD，這樣流式數(shù)據(jù)變成了流式的RDD序列，這便是Dstream，Spark Streaming 在Dstream上定義了一系列操作，主要分兩類：transformation和output，其中一個transformation操作能夠?qū)⒁粋€Dstream變換成另一個Dstream，而output操作可產(chǎn)生一個或一組結(jié)果，并將輸出到指定外部系統(tǒng)中。

Spark幾個組件的抽象及操作對比：

1、Spark Code 數(shù)據(jù)抽象RDD 數(shù)據(jù)操作transformation&action

2、Spark SQL 數(shù)據(jù)抽象：DataFrame、DataSet，操作：transformation&action

3、Spark Streaming：數(shù)據(jù)抽象：Dstream，操作：transformation&action

到此，相信大家對“Storm基本架構(gòu)是什么”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

網(wǎng)頁標(biāo)題：Storm基本架構(gòu)是什么
當(dāng)前地址：http://jinyejixie.com/article30/gdjpso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、App開發(fā)、網(wǎng)站導(dǎo)航、網(wǎng)站策劃、云服務(wù)器、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)