本篇內(nèi)容介紹了“hadoop下怎么計算MapReduce過程中需要的緩沖區(qū)大小”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

本篇內(nèi)容介紹了“hadoop下怎么計算MapReduce過程中需要的緩沖區(qū)大小”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新新互聯(lián)，憑借十余年的成都網(wǎng)站設(shè)計、網(wǎng)站制作經(jīng)驗，本著真心·誠心服務(wù)的企業(yè)理念服務(wù)于成都中小企業(yè)設(shè)計網(wǎng)站有近千家案例。做網(wǎng)站建設(shè)，選成都創(chuàng)新互聯(lián)。

在Map階段，map函數(shù)會產(chǎn)生中間數(shù)據(jù)輸出并保存在內(nèi)存緩沖區(qū)中（緩沖區(qū)大小由io.sort.mb參數(shù)指定）。一旦達(dá)到占用閾值（默認(rèn)是80%），緩沖區(qū)的內(nèi)容就會寫入本地磁盤，這也就是所謂的溢寫（spill）。

緩沖區(qū)內(nèi)會存儲溢寫記錄的元數(shù)據(jù)（每條數(shù)據(jù)元數(shù)據(jù)長度為16字節(jié)）和溢寫記錄。

分配給元數(shù)據(jù)的空間由參數(shù)io.sort.record.percent指定，默認(rèn)5%，其余分配給溢寫記錄使用。

要確定緩沖區(qū)所需的內(nèi)存空間，需要計算溢寫記錄和元數(shù)據(jù)分別所占空間大小。

具體計算方法如下：

Record length = Map output bytes / Map output records = 68022178 / 472293 = 144bytes

Spilled Records Size =  Spilled Records * Record length = 144 * 472293 = 68022178 = 64M

Metadata Size = Metadata length * Spilled Records = 16 * 472293 = 7556688 = 7M

io.sort.record.percent = 16 / (16 + 144) = 0.1

io.sort.mb = Metadata size + Spilled Records size = 64 + 7 = 71M

文章題目：hadoop下怎么計算MapReduce過程中需要的緩沖區(qū)大小
標(biāo)題鏈接：http://jinyejixie.com/article48/sdhhp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站收錄、靜態(tài)網(wǎng)站、營銷型網(wǎng)站建設(shè)、小程序開發(fā)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)