以下是老男孩教育編寫(xiě)的大數(shù)據(jù)資料，轉(zhuǎn)載請(qǐng)注明出處：http://www.oldboyedu.com

Hadoop

創(chuàng)新互聯(lián)建站專(zhuān)注于企業(yè)全網(wǎng)營(yíng)銷(xiāo)推廣、網(wǎng)站重做改版、樅陽(yáng)網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5開(kāi)發(fā)、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性?xún)r(jià)比高，為樅陽(yáng)等各大城市提供網(wǎng)站開(kāi)發(fā)制作服務(wù)。

Hadoop是分布式計(jì)算引擎，含有四大模塊，common、hdfs、mapreduce和yarn。

并發(fā)和并行

并發(fā)通常指針對(duì)單個(gè)節(jié)點(diǎn)的應(yīng)對(duì)多個(gè)請(qǐng)求的能力，是單一節(jié)點(diǎn)上計(jì)算能力的衡量，并行通常針對(duì)集群來(lái)講，是利用多個(gè)節(jié)點(diǎn)進(jìn)行分布式協(xié)同作業(yè)，我們稱(chēng)之為并行計(jì)算。

Spark

快如閃電集群計(jì)算引擎，應(yīng)用于大規(guī)模數(shù)據(jù)處理快速通用引擎，使用內(nèi)存計(jì)算。

1.Speed

內(nèi)存計(jì)算速度是hadoop的100倍以上，硬盤(pán)計(jì)算是Hadoop是10倍以上，Spark使用高級(jí)DAG(Direct acycle graph)執(zhí)行引擎。

2.易于使用

提供了80+高級(jí)算子，能夠輕松構(gòu)建并行應(yīng)用，也可以使用scala，python，r的shell進(jìn)行交互式操作。

3.通用性

對(duì)SQL、流計(jì)算、復(fù)雜分析可進(jìn)行組合應(yīng)用。spark提供了類(lèi)庫(kù)棧，包括SQL、MLlib、graphx和Spark streaming。

4.架構(gòu)

包括： Spark core、 Spark SQL、 Spark streaming、 Spark mllib和 Spark graphx

5. 到處運(yùn)行

Spark可以運(yùn)行在hadoop、mesos、standalone和clound上，同時(shí)可以訪(fǎng)問(wèn)多種數(shù)據(jù)源，如hdfs、hbase、hive、Cassandra、 S3等。

spark集群部署模式

1.local

不需要啟動(dòng)任何Spark進(jìn)程，使用一個(gè)JVM運(yùn)行Spark所有組件，主要用于調(diào)試和測(cè)試。

2.standalone

獨(dú)立模式，需要安裝Spark集群，分別啟動(dòng)master節(jié)點(diǎn)和worker節(jié)點(diǎn)，master是管理節(jié)點(diǎn)，worker是task的執(zhí)行節(jié)點(diǎn)。

3.yarn

不需要單獨(dú)部署Spark集群，可以說(shuō)根本沒(méi)有Spark集群的概念。

該模式下，使用的完全是Hadoop的Job執(zhí)行流程，只是到末端啟動(dòng)任務(wù)時(shí)使用Spark的Task執(zhí)行發(fā)生，相當(dāng)于Spark是一個(gè)Hadoop的Job，將Spark的所有jar包打入job運(yùn)行的依賴(lài)包中，流程按照hadoop的執(zhí)行流程來(lái)進(jìn)行。

安裝spark

1.下載spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下載地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解壓文件到/soft目錄下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.創(chuàng)建軟連接

創(chuàng)建軟連接后，編譯各種文件配置以及后期進(jìn)行版本升級(jí)和替換非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置環(huán)境變量

編輯/etc/profile環(huán)境變量文件：

$>sudo nano /etc/profile

在文件末尾添加如下內(nèi)容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

注意：將Spark的bin目錄和sbin目錄都添加到環(huán)境變量path中，而且Linux使用“:”作為分隔符。

5.環(huán)境變量生效

$>source /etc/profile

6.進(jìn)入Spark-shell命令行

$>/soft/spark/spark-shell

#進(jìn)入scala命令提示符

$scala>

7.體驗(yàn)Spark-shell

因?yàn)镾park使用的scala語(yǔ)言，因此同Scala的使用完全一致。

$scala>1 + 1

#輸出結(jié)果

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

本文題目：Spark入門(mén)及安裝與配置-創(chuàng)新互聯(lián)
文章URL：http://jinyejixie.com/article46/cccjhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、App設(shè)計(jì)、標(biāo)簽優(yōu)化、品牌網(wǎng)站制作、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)