這篇文章主要為大家展示了“怎么獲取CDSW上提交Spark作業(yè)的真實(shí)用戶”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“怎么獲取CDSW上提交Spark作業(yè)的真實(shí)用戶”這篇文章吧。

十多年專注成都網(wǎng)站制作，成都定制網(wǎng)站，個(gè)人網(wǎng)站制作服務(wù)，為大家分享網(wǎng)站制作知識(shí)、方案，網(wǎng)站設(shè)計(jì)流程、步驟,成功服務(wù)上千家企業(yè)。為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù),專注于成都定制網(wǎng)站,高端網(wǎng)頁(yè)制作,對(duì)成都水處理設(shè)備等多個(gè)領(lǐng)域，擁有豐富設(shè)計(jì)經(jīng)驗(yàn)。

在一個(gè)CDSW環(huán)境中，由于其中一個(gè)租戶經(jīng)常提交大型Spark作業(yè)將YARN上租戶所在的資源池資源用到95%以上，從而影響到同一租戶下其他用戶提交作業(yè)的運(yùn)行。這種情況下我們沒(méi)辦法直接找到這些大型作業(yè)的實(shí)際提交人，是因?yàn)槲覀冊(cè)跒镃DSW做多租戶配置的時(shí)候會(huì)將登錄CDSW的某一批用戶統(tǒng)一綁定到同一個(gè)租戶下(這樣設(shè)計(jì)的目的主要是為了簡(jiǎn)化YARN的租戶管理，而不用為每個(gè)用戶創(chuàng)建資源池隊(duì)列)，所以導(dǎo)致在YARN的界面上看到的都是同一個(gè)租戶，而無(wú)法對(duì)應(yīng)到實(shí)際CDSW的用戶以及這個(gè)人提交的大型作業(yè)。本文主要描述通過(guò)修改Spark的配置來(lái)將作業(yè)的實(shí)際提交人的用戶名展示到Spark UI，非CDSW的YARN的多租戶管理也會(huì)碰到類似問(wèn)題。

1.登錄CM界面，進(jìn)入Spark2的實(shí)例界面，將Gateway角色分組，將CDSW所在主機(jī)的Gateway角色分到另外的組

2.進(jìn)入Spark2的配置頁(yè)面，修改“spark-conf/spark-env.sh 的 Spark 客戶端高級(jí)配置代碼段（安全閥）”這一參數(shù)，選擇編輯單個(gè)值，修改CDSW Gateway角色組的配置，填入如下內(nèi)容：

SPARK_CONF=/home/cdsw/spark-defaults.conf

if [ ! -f "$SPARK_CONF" ]; then
  touch "$SPARK_CONF"
fi

str=`cat $SPARK_CONF | grep spark.app.real.username`

if [ -z "$str" ];then
  echo -e "\nspark.app.real.username=${GIT_AUTHOR_NAME}" >> $SPARK_CONF
fi

3.修改完配置后點(diǎn)擊“保存更改”，根據(jù)提示重啟相關(guān)服務(wù)（此步驟會(huì)涉及到CDSW服務(wù)重啟）

1.使用user1用戶登錄CDSW

2.運(yùn)行一個(gè)示例PySpark程序

3.在SparkUI上找到該作業(yè)，并點(diǎn)擊“Environment”，可以看到參數(shù)列表中打印了提交Spark作業(yè)的用戶

以上是“怎么獲取CDSW上提交Spark作業(yè)的真實(shí)用戶”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

本文名稱：怎么獲取CDSW上提交Spark作業(yè)的真實(shí)用戶
轉(zhuǎn)載來(lái)于：http://jinyejixie.com/article48/psiihp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、定制網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、品牌網(wǎng)站制作、營(yíng)銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)