這篇文章將為大家詳細(xì)講解有關(guān)hive有哪些聚合函數(shù),小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。
成都創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括嶺東網(wǎng)站建設(shè)、嶺東網(wǎng)站制作、嶺東網(wǎng)頁(yè)制作以及嶺東網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái),我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,嶺東網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前,我們服務(wù)的客戶以成都為中心已經(jīng)輻射到嶺東省份的部分城市,未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任!
★聚合函數(shù)
count,sum,min,max,avg
var_pop(col) 返回指定列的方差
var_samp(col) 返回指定列的樣本方差
stddev_pop(col) 返回指定列的偏差(標(biāo)準(zhǔn)差) stddev_pop = stddev
stddev_samp(col) 返回指定列的樣本偏差(標(biāo)準(zhǔn)差)
covar_pop(col1, col2) 兩列數(shù)值協(xié)方差
如果兩個(gè)變量的變化趨勢(shì)一致,那么兩個(gè)變量之間的協(xié)方差就是正值;
如果兩個(gè)變量的變化趨勢(shì)相反,那么兩個(gè)變量之間的協(xié)方差就是負(fù)值;
如果X與Y是統(tǒng)計(jì)獨(dú)立的,那么二者之間的協(xié)方差就是0
covar_samp(col1, col2) 兩列數(shù)值樣本協(xié)方差
corr(col1, col2) 返回兩列數(shù)值的相關(guān)系數(shù)(偏差協(xié)方)
percentile(BIGINT col, p) 返回?cái)?shù)值區(qū)域的百分比數(shù)值點(diǎn)。0<=P<=1,否則返回NULL,不支持浮點(diǎn)型數(shù)值。
第p百分位數(shù),大約有p%的數(shù)據(jù)項(xiàng)的值比第p百分位數(shù)小
percentile(BIGINT col, array(p1 [, p2]…))
返回類型也為array<double>,其中為對(duì)應(yīng)的百分位數(shù)
percentile_approx(DOUBLE col, p [, B]) 近似中位數(shù)函數(shù)(percentile的近似值)
參數(shù)B控制內(nèi)存消耗的近似精度,B越大,結(jié)果的準(zhǔn)確度越高。默認(rèn)為10,000。
當(dāng)col字段中的distinct值的個(gè)數(shù)小于B時(shí),結(jié)果為準(zhǔn)確的百分位數(shù)
percentile_approx(DOUBLE col, array(p1 [, p2]…) [, B])
histogram_numeric(col, b) 直方圖,
使用b個(gè)非均勻間隔的箱子計(jì)算組內(nèi)數(shù)字列的柱狀圖(直方圖),
輸出的數(shù)組大小為b,double類型的(x,y)表示直方圖的中心和高度
返回值: array<struct {‘x’,‘y’}> [{"x":100.0,"y":1.0}]
select inline(histogram_numeric(cast(a.amount as int),10)) from a
collect_set(col) 返回消除了重復(fù)元素的數(shù)組
collect_list(col) 返回允許重復(fù)元素的數(shù)組
ntile(INTEGER x) 該函數(shù)將已經(jīng)排序的分區(qū)分到x個(gè)桶中,并為每行分配一個(gè)桶號(hào)
★內(nèi)置 Table-Generating函數(shù)(UDTF)
explode(ARRAY) 參數(shù)列為數(shù)組類型,將數(shù)組數(shù)據(jù)中的每個(gè)元素做為一行返回
explode(MAP) 將輸入map中的每個(gè)鍵值對(duì)轉(zhuǎn)換為兩列,一列為key,另一列為value,然后返回新行
explode(array<TYPE> a) 對(duì)于數(shù)組a中的每個(gè)元素,該函數(shù)產(chǎn)生包含該元素的行
json_tuple(jsonStr, k1, k2, ...) 參數(shù)為一組鍵k1,k2……和JSON字符串,返回值的元組。
該方法比 get_json_object 高效,因?yàn)榭梢栽谝淮握{(diào)用中輸入多個(gè)鍵
parse_url_tuple(url, p1, p2, ...) 該方法同parse_url() 相似,但可以一次性提取URL的多個(gè)部分,
有效的參數(shù)名稱為: HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, USERINFO, QUERY:<KEY>
posexplode(ARRAY) 行為與參數(shù)為數(shù)組的explode方法相似,但包含項(xiàng)在原始數(shù)組中的位置,返回(pos,value)的二元組
stack(INT n, v_1, v_2, ..., v_k) 將v_1, ..., v_k 分為n行,每行包含n/k列,n必須為常數(shù)
●在SELECT中不允許再有其他表達(dá)式:不支持SELECT pageid, explode(adid_list) AS myCol...
●UDTF不能夠嵌套使用:不支持SELECT explode(explode(adid_list)) AS myCol...
●不支持GROUP BY /CLUSTER BY / DISTRIBUTE BY / SORT BY
關(guān)于“hive有哪些聚合函數(shù)”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,使各位可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),請(qǐng)把它分享出去讓更多的人看到。
分享名稱:hive有哪些聚合函數(shù)
當(dāng)前路徑:http://jinyejixie.com/article22/ghohjc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、全網(wǎng)營(yíng)銷推廣、自適應(yīng)網(wǎng)站、網(wǎng)站排名、Google、App開(kāi)發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)