這篇文章將為大家詳細(xì)講解有關(guān)在CDP7.1.1中如何配置用戶的Hive SQL的資源池隊(duì)列 ，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)公司專業(yè)為企業(yè)提供常山網(wǎng)站建設(shè)、常山做網(wǎng)站、常山網(wǎng)站設(shè)計(jì)、常山網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、常山企業(yè)網(wǎng)站模板建站服務(wù)，十多年常山做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

• 測(cè)試環(huán)境

1.操作系統(tǒng)Redhat7.6

2.CDP DC7.1.1

Fayson使用test用戶進(jìn)行驗(yàn)證，創(chuàng)建了一個(gè)root.test 的資源池，設(shè)置放置規(guī)則test 用戶放置到root.test 池下進(jìn)行驗(yàn)證，具體操作如下：

1、首先確保你集群中的YARN Queue Manager是正常工作的，然后點(diǎn)擊群集>動(dòng)態(tài)資源池，在Yarn 創(chuàng)建資源池創(chuàng)建root.test 資源池，root.test資源池配置這里比例為10%,可根據(jù)資源情況自行調(diào)整

2、設(shè)置隊(duì)列放置規(guī)則

Fayson 這里只針對(duì)test 用戶，設(shè)置將test 用戶的隊(duì)列放置到root.test 資源池下

然后執(zhí)行pyspark 命令驗(yàn)證已經(jīng)生效。

3、進(jìn)入beeline 命令或者在hue 中創(chuàng)建一個(gè)測(cè)試表,并插入一條數(shù)據(jù)驗(yàn)證

kinit test
create table test (s1 string,s2 string);
insert into test values ("test","abc");

然后查看執(zhí)行結(jié)果和作業(yè)信息顯示的池的default，用戶是Hive 。在Hive SQL 中，并沒有將作業(yè)正確的放置到用戶的資源池隊(duì)列

那么如何才能讓Hive 作業(yè)正確的運(yùn)行到指定的資源池下呢？

首先確報(bào)已禁用模擬功能hive.server2.enable.doAs=false

然后具體步驟如下:

CM -> YARN -> Configuration -> ResourceManager Advanced Configuration Snippet (Safety Valve) for yarn-site.xml 中添加以下參數(shù):

yarn.resourcemanager.application-tag-based-placement.enable=true
yarn.resourcemanager.application-tag-based-placement.username.whitelist=hive

CM -> Hive_on_Tez -> Configuration -> Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml 中添加以下參數(shù):

hive.server2.tez.initialize.default.sessions=false;
hive.server2.tez.queue.access.check=true;
hive.server2.tez.sessions.custom.queue.allowed=true;

設(shè)置完上述參數(shù)后，保存并重啟服務(wù)生效。

然后重新提交insert 語句執(zhí)行

查看資源池隊(duì)列放置是否準(zhǔn)確

CM 界面：

而提交任務(wù)的用戶顯示依舊為Hive, 因?yàn)?Hive 禁用模擬之后, 所有作業(yè)實(shí)際都是通過Hive用戶提交的. 真實(shí)提交的用戶顯示 YARN Application Tag的一部分. 可以在 YARN Web UI 上看到 "Application Tag" 列會(huì)顯示userid=XXX 的信息, 是實(shí)際的提交用戶。

也可以通過 CM -> YARN -> Application 頁面的右邊 Select Attributes按鈕點(diǎn)開 Application Tag, 接著在搜索框可以輸入 application_tags RLIKE '.*userid=用戶名' ，這樣 CM 就會(huì)顯示所有"用戶名"提交的 Hive作業(yè)了。

關(guān)于“在CDP7.1.1中如何配置用戶的Hive SQL的資源池隊(duì)列 ”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

名稱欄目：在CDP7.1.1中如何配置用戶的HiveSQL的資源池隊(duì)列
URL標(biāo)題：http://jinyejixie.com/article20/gdpojo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、微信公眾號(hào)、商城網(wǎng)站、網(wǎng)站改版、定制網(wǎng)站、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)