SPARK歷史任務(wù)查看需要一下配置:

在呂梁等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作定制設(shè)計,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計,成都全網(wǎng)營銷,成都外貿(mào)網(wǎng)站建設(shè)公司,呂梁網(wǎng)站建設(shè)費用合理。

1. 修改spark-defaults.conf配置文件

   1.   spark.eventLog.enabled             true

   2.   spark.eventLog.dir                       hdfs://192.168.9.110:9000/eventLogs

   3.   spark.eventLog.compress          true

2. 修改spark-env.sh配置文件

   1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

3. 以上兩個配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs來存儲歷史任務(wù)的日志信息.所以需要提前在hdfs中新建這兩個目錄 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

   1. 進入hadoop的bin目錄 命令 :  cd /data/server/hadoop-2.6.0/bin

   2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

   3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

4. 重啟spark集群

5. 啟動歷史任務(wù)進程

   1. sbin/start-history-server.sh

6. 歷史任務(wù)進程啟動驗證

   1. 執(zhí)行jps命令,出現(xiàn)HistoryServer進程

7. 查看歷史任務(wù)Web UI

   1. http://192.168.9.110:18080/

當前名稱：SPARK啟動歷史任務(wù)查看
網(wǎng)址分享：http://jinyejixie.com/article18/ghohdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標簽優(yōu)化、軟件開發(fā)、搜索引擎優(yōu)化、動態(tài)網(wǎng)站、用戶體驗、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)