這篇文章主要介紹了spark如何整合hadoop，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)2013年開創(chuàng)至今，先為西林等服務(wù)建站，西林等地企業(yè)，進行企業(yè)商務(wù)咨詢服務(wù)。為西林企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

Spark應(yīng)用程序有兩部分組成
1.Driver 2 Executor
Spark基本概念
Application基于Spark的用戶程序，包含一個Driver 和集群的多個executor
Driver program運行Application的main函數(shù)并創(chuàng)建SparkContext通常用SparkContxet代表Driver Programe
Executor是為某Application運行在work node上的一個進程，該進程負責運行task，并且負責將數(shù)據(jù)存在內(nèi)存
或者磁盤上，每個Application都有各自獨立的executor
Cluster manager，在集群上獲取集群資源的外部服務(wù)列如Standalone,Mesos ,yarn
worker node 集群中任何可以運行application代碼的節(jié)點
task被送到某個executor的工作單元
job包含多個task組成的并行運算，往往由spark action催生，該術(shù)語可以經(jīng)常在日志中看到
rdd由spark的基本計算單元，可以通過一系列算子操作，主要有transaformation和action操作
并行化scala集合
spark使用parallelize方法轉(zhuǎn)換成RDD
val rdd1=sc.parallelize(Array(1,2,3,4,5))
val rdd2=sc.parallelize(List(0 to 10),5)
參數(shù)是slice對數(shù)據(jù)集切片，每一個slice啟動一個task進行處理
Spark支持text files可以支持讀取本地文件，支持整個目錄讀取，壓縮文件的讀取gzip 通配符的讀取第二個參數(shù)是分片可選
使用wholeTextFiles讀取目錄里面的小文件
使用sequenceF可以將sequenceFile轉(zhuǎn)換成rdd
使用hadoopRDD方法可以將其他任何hadoop的輸入類型轉(zhuǎn)化為RDD
廣播變量
廣播變量緩存到各個節(jié)點內(nèi)存中，而不是每個task
廣播變量創(chuàng)建后，能在任何運行的函數(shù)中調(diào)用
廣播變量是只讀的，不能在廣播后修改
對于大數(shù)據(jù)集的廣播，spark嘗試用高效的傳播算法來降低通信成本
使用方法 val broadcastVar=sc.broadcast(Array(1,2,3))
broadcastVar.value
累加器
累加器只支持加法操作
累加器可以高效的并行，用于實現(xiàn)計數(shù)器和變量求和
Spark支持原生類型和標準可變的集合計數(shù)器，但用戶可以添加新的類型
只有驅(qū)動程序才能獲取累加器的值
使用方法
val accnum=sc.accumulator(0)
sc.parallelize(Array(1,2,3,4)).foreach(x=>accnum+=x)
accnum.value

spark要啟動start all
[root@localhost bin]# ./spark-submit --master spark://127.0.0.1:7077 --class week2.SougoQA --executor-memory 3g scala.jar hdfs://127.0.0.1:9000/dataguru/data/SogouQ1.txt hdfs://127.0.0.1:9000/dataguru/week2/output
./spark-submit --master  --class week2.SougoQA --executor-memory 3g scala.jar hdfs://127.0.0.1:9000/dataguru/data/SogouQ1.txt hdfs://127.0.0.1:9000/dataguru/week2/output

感謝你能夠認真閱讀完這篇文章，希望小編分享的“spark如何整合hadoop”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學習!

網(wǎng)站標題：spark如何整合hadoop
網(wǎng)站地址：http://jinyejixie.com/article24/gpsoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、Google、網(wǎng)站建設(shè)、云服務(wù)器、微信小程序、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)