本篇內(nèi)容介紹了“Hive的靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的區(qū)別”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站是專業(yè)的柳江網(wǎng)站建設(shè)公司，柳江接單;提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行柳江網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

1. 靜態(tài)分區(qū)：若分區(qū)的值是確定的，那么稱為靜態(tài)分區(qū)。新增分區(qū)或者是加載分區(qū)數(shù)據(jù)時(shí)，已經(jīng)指定分區(qū)名。

create table if not exists day_part1(

uid int,

uname string

)

partitioned by(year int,month int)

row format delimited fields terminated by '\t';

##加載數(shù)據(jù)指定分區(qū)

load data local inpath '/root/Desktop/student.txt' into table day_part1

partition(year=2017,month=04);

##新增分區(qū)指定分區(qū)名

alter table day_part1 add partition(year=2017,month=1)

partition(year=2016,month=12);

2. 動(dòng)態(tài)分區(qū)：分區(qū)的值是非確定的，由輸入數(shù)據(jù)來(lái)確定

2.1 動(dòng)態(tài)分區(qū)的相關(guān)屬性：

hive.exec.dynamic.partition=true :是否允許動(dòng)態(tài)分區(qū)

hive.exec.dynamic.partition.mode=strict ：分區(qū)模式設(shè)置

strict：最少需要有一個(gè)是靜態(tài)分區(qū)

nostrict：可以全部是動(dòng)態(tài)分區(qū)

hive.exec.max.dynamic.partitions=1000 ：允許動(dòng)態(tài)分區(qū)的最大數(shù)量

hive.exec.max.dynamic.partitions.pernode =100

：?jiǎn)蝹€(gè)節(jié)點(diǎn)上的mapper/reducer允許創(chuàng)建的最大分區(qū)

2.2 動(dòng)態(tài)分區(qū)的操作

##創(chuàng)建臨時(shí)表

create table if not exists tmp

(uid int,

commentid bigint,

recommentid bigint,

year int,

month int,

day int)

row format delimited fields terminated by '\t';

##加載數(shù)據(jù)

load data local inpath '/root/Desktop/comm' into table tmp;

##創(chuàng)建動(dòng)態(tài)分區(qū)表

create table if not exists dyp1

(uid int,

commentid bigint,

recommentid bigint)

partitioned by(year int,month int,day int)

row format delimited fields terminated by '\t';

##嚴(yán)格模式

insert into table dyp1 partition(year=2016,month,day)

select uid,commentid,recommentid,month,day from tmp;

##非嚴(yán)格模式

##設(shè)置非嚴(yán)格模式動(dòng)態(tài)分區(qū)

set hive.exec.dynamic.partition.mode=nostrict;

##創(chuàng)建動(dòng)態(tài)分區(qū)表

create table if not exists dyp2

(uid int,

commentid bigint,

recommentid bigint)

partitioned by(year int,month int,day int)

row format delimited fields terminated by '\t';

##為非嚴(yán)格模式動(dòng)態(tài)分區(qū)加載數(shù)據(jù)

insert into table dyp2 partition(year,month,day)

select uid,commentid,recommentid,year,month,day from tmp;

3.分區(qū)注意細(xì)節(jié)

(1)、盡量不要用動(dòng)態(tài)分區(qū)，因?yàn)閯?dòng)態(tài)分區(qū)的時(shí)候，將會(huì)為每一個(gè)分區(qū)分配reducer數(shù)量，當(dāng)分區(qū)數(shù)量多的時(shí)候，reducer數(shù)量將會(huì)增加，對(duì)服務(wù)器是一種災(zāi)難。

(2)、動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)的區(qū)別，靜態(tài)分區(qū)不管有沒(méi)有數(shù)據(jù)都將會(huì)創(chuàng)建該分區(qū)，動(dòng)態(tài)分區(qū)是有結(jié)果集將創(chuàng)建，否則不創(chuàng)建。

(3)、hive動(dòng)態(tài)分區(qū)的嚴(yán)格模式和hive提供的hive.mapred.mode的嚴(yán)格模式。

hive提供我們一個(gè)嚴(yán)格模式：為了阻止用戶不小心提交惡意hql

hive.mapred.mode=nostrict : strict

如果該模式值為strict，將會(huì)阻止以下三種查詢：

(1)、對(duì)分區(qū)表查詢，where中過(guò)濾字段不是分區(qū)字段。

(2)、笛卡爾積join查詢，join查詢語(yǔ)句，不帶on條件或者where條件。

(3)、對(duì)order by查詢，有order by的查詢不帶limit語(yǔ)句。

“Hive的靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的區(qū)別”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

文章名稱：Hive的靜態(tài)分區(qū)與動(dòng)態(tài)分區(qū)的區(qū)別
文章源于：http://jinyejixie.com/article16/pppjdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、用戶體驗(yàn)、面包屑導(dǎo)航、App開(kāi)發(fā)、虛擬主機(jī)、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)