這篇文章將為大家詳細(xì)講解有關(guān)如何解析Spark運(yùn)行模式，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

創(chuàng)新互聯(lián)建站專業(yè)為企業(yè)提供龍海網(wǎng)站建設(shè)、龍海做網(wǎng)站、龍海網(wǎng)站設(shè)計、龍海網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、龍海企業(yè)網(wǎng)站模板建站服務(wù)，十年龍海做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

Spark運(yùn)行模式

1  Spark的兩個重要角色

1.1 簡介

Spark是一種基于內(nèi)存的快遞、通用、可擴(kuò)展的大數(shù)據(jù)分析引擎。

1.2 spark內(nèi)置模塊：

1.3 Spark的兩個重要角色：

Driver（驅(qū)動器）：負(fù)責(zé)管理調(diào)度任務(wù)

Executor（執(zhí)行器）：負(fù)責(zé)執(zhí)行具體的任務(wù)

2 Spark運(yùn)行模式

• Local模式：運(yùn)行在一臺機(jī)器上，通常是練手或者測試環(huán)境。

• Standalone:構(gòu)建一個基于 Mster+Slaves 的資源調(diào)度集群，Spark 任務(wù)提交給 Master運(yùn)行。是Spark自身的一個調(diào)度系統(tǒng)，不依賴Yarn等其他框架。

• Yarn: Spark 客戶端直接連接 Yarn，不需要額外構(gòu)建Spark集群。有 yarn-client 和yarn-cluster 兩種模式，主要區(qū)別在于：Driver 程序的運(yùn)行節(jié)點(diǎn)。

• yarn-client：Driver程序運(yùn)行在客戶端，適用于交互、調(diào)試，希望立即看到app的輸出。

• yarn-cluster：Driver程序運(yùn)行在由RM（ResourceManager）啟動的AP（APPMaster）適用于生產(chǎn)環(huán)境。

• Mesos：國內(nèi)大環(huán)境比較少用。

幾種模式的對比：

3 Local模式（下的WordCount）

3.1 Spark-Wordcount基本思路

                

文件加載load：加載文件

扁平化：將句子分割成一個一個的單詞；

分組：將相同的單詞放到一個組里面；

聚合：統(tǒng)計每個組里成員的數(shù)量；

（上述過程是左圖的簡化過程，不太準(zhǔn)確，按照下面的步驟來記憶；右圖才是準(zhǔn)確的過程）

3.2 Wordcount代碼實(shí)現(xiàn)

相關(guān)方法說明：

TextFile：用于加載文件；

FlatMap：用于扁平化處理，單詞切分；

Map：將每一個單詞映射為元祖；

ReduceByKey：按照key進(jìn)行分組聚合；

3.3 Wordcount過程圖示

4 Yarn模式（重點(diǎn)）

4.1 概述

Spark客戶端直接連接Yarn，不需要額外構(gòu)建Spark集群。有yarn-client和yarn-cluster兩種模式，主要區(qū)別在于：Driver程序的運(yùn)行節(jié)點(diǎn)。

yarn-client：Driver程序運(yùn)行在客戶端，適用于交互、調(diào)試，希望立即看到app的輸出

yarn-cluster：Driver程序運(yùn)行在由RM（ResourceManager）啟動的AP（APPMaster）適用于生產(chǎn)環(huán)境。

4.2 Yarn運(yùn)行模式（重點(diǎn)）

要清晰知道每一步的過程。

                

兩張圖結(jié)合起來一起看

5 Standalone模式（獨(dú)立部署模式）

就是只用spark自己的東西，不用Yarn等其他的框架。

5.1 概述

構(gòu)建一個由Master+Slave構(gòu)成的Spark集群，Spark運(yùn)行在集群中。

5.2 Standalone模式

Master相當(dāng)于Yarn中的RM；

Worker相當(dāng)于Yarn中的NM；

關(guān)于如何解析Spark運(yùn)行模式就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網(wǎng)站題目：如何解析Spark運(yùn)行模式
當(dāng)前網(wǎng)址：http://jinyejixie.com/article22/gdpdjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、網(wǎng)站改版、云服務(wù)器、小程序開發(fā)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)