本課分成四部分講解，第一部分對StreamingContext功能及源碼剖析；第二部分對DStream功能及源碼剖析；第三部分對Receiver功能及源碼剖析；最后一部分將StreamingContext、DStream、Receiver結(jié)合起來分析其流程。

一、StreamingContext功能及源碼剖析：

成都創(chuàng)新互聯(lián)主營泰順網(wǎng)站建設的網(wǎng)絡公司,主營網(wǎng)站建設方案,手機APP定制開發(fā),泰順h5微信小程序開發(fā)搭建,泰順網(wǎng)站營銷推廣歡迎泰順等地區(qū)企業(yè)咨詢

1、  通過Spark Streaming對象jssc，創(chuàng)建應用程序主入口，并連上Driver，接收數(shù)據(jù)服務端口9999寫入源數(shù)據(jù)

2、  Spark Streaming的主要功能有：

• 主程序的入口；

• 提供了各種創(chuàng)建DStream的方法接收各種流入的數(shù)據(jù)源（例如：Kafka、Flume、Twitter、ZeroMQ和簡單的TCP套接字等）；

• 通過構(gòu)造函數(shù)實例化Spark Streaming對象時，可以指定master URL、appName、或者傳入SparkConf配置對象、或者已經(jīng)創(chuàng)建的SparkContext對象；

• 將接收的數(shù)據(jù)流傳入DStreams對象中；

• 通過Spark Streaming對象實例的start方法來啟動當前應用程序的流計算框架或通過stop方法結(jié)束當前應用程序的流計算框架；

  

二、DStream功能及源碼剖析：

1、  DStream是RDD的模板，DStream是抽象的，RDD也是抽象

2、  DStream的具體實現(xiàn)子類如下圖所示：

 

3、  以StreamingContext實例的socketTextSteam方法為例，其執(zhí)行完的結(jié)果返回DStream對象實例，其源碼調(diào)用過程如下圖：

socket.getInputStream獲取數(shù)據(jù)，while循環(huán)來存儲數(shù)據(jù)(內(nèi)存、磁盤)

三、Receiver功能及源碼剖析：

1、Receiver代表數(shù)據(jù)的輸入，接收外部輸入的數(shù)據(jù)，如從Kafka上抓取數(shù)據(jù)；

2、Receiver運行在Worker節(jié)點上；

3、Receiver在Worker節(jié)點上抓取Kafka分布式消息框架上的數(shù)據(jù)時，具體實現(xiàn)類是KafkaReceiver；

4、Receiver是抽象類，其抓取數(shù)據(jù)的實現(xiàn)子類如下圖所示：

 

5、  如果上述實現(xiàn)類都滿足不了您的要求，您自己可以定義Receiver類，只需要繼承Receiver抽象類來實現(xiàn)自己子類的業(yè)務需求。

四、StreamingContext、DStream、Receiver結(jié)合流程分析：

 

（1）inputStream代表了數(shù)據(jù)輸入流(如：Socket、Kafka、Flume等)

（2）Transformation代表了對數(shù)據(jù)的一系列操作，如flatMap、map等

（3）outputStream代表了數(shù)據(jù)的輸出，例如wordCount中的println方法：

數(shù)據(jù)在流進來之后，最終還是基于RDD進行執(zhí)行，在處理流進來的數(shù)據(jù)時是DStream進行Transformation，StreamingContext會根據(jù)Transformation生成DStreamGraph，而DStreamGraph就是DAG的模板，這個模板是被框架托管的。當我們指定時間間隔的時候，Spark Streaming框架會自動觸發(fā)Job，所以在開發(fā)者編寫好的Spark代碼時（如：flatMap、collect、print），不會導致job的運行，job運行是
Spark Streaming框架自動產(chǎn)生的。

總結(jié)：

使用Spark Streaming可以處理各種數(shù)據(jù)來源類型，如：數(shù)據(jù)庫、HDFS，服務器log日志、網(wǎng)絡流，其強大超越了你想象不到的場景，

只是很多時候大家不會用，其真正原因是對Spark、spark streaming本身不了解。

備注：

資料來源于：DT_大數(shù)據(jù)夢工廠（IMF傳奇行動絕密課程）

更多私密內(nèi)容，請關注微信公眾號：DT_Spark

如果您對大數(shù)據(jù)Spark感興趣，可以免費聽由王家林老師每天晚上20：00開設的Spark永久免費公開課，地址YY房間號：68917580

本文標題：第84課：StreamingContext、DStream、Receiver深度剖析
瀏覽路徑：http://jinyejixie.com/article32/ppjipc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供Google、服務器托管、網(wǎng)站建設、營銷型網(wǎng)站建設、定制網(wǎng)站、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)