這篇文章將為大家詳細講解有關MapReducer中Mapper的切片原理是什么，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

岳塘網站建設公司創(chuàng)新互聯(lián)建站,岳塘網站設計制作，有大型網站制作公司豐富經驗。已為岳塘近1000家提供企業(yè)網站建設服務。企業(yè)網站搭建\外貿網站制作要多少錢，請找那個售后服務好的岳塘做網站的公司定做！

一、首先，我們看到Map運行的時候不同文件啟動了不同數(shù)量的map任務，但是JOB中又沒有設置map數(shù)量的配置，其實map運行時MRAppMaster請求RM資源運行的MapTask是由map前的文件切片所決定的（雖然split默認等于blocksize但是決不等同于blocksize）

二、原理：分發(fā)到各個節(jié)點的mapTask對文件處理時是按照一個個切片執(zhí)行的

如圖所示，默認的InputFormat為TextInputFormat  而 TextInputFormat  繼承于FileInputFormat

@InterfaceAudience.Public
@InterfaceStability.Stable
public class TextInputFormat extends FileInputFormat<LongWritable, Text>

我們再來看看FileInputFormat是怎么對文件進行切片的

在FileInputformat中有issplit()方法(該方法設置是否對文件進行分割)和getsplits方法,getsplits中調用
computeSplitSize()方法通過return Math.max(minSize, Math.min(goalSize, blockSize))來獲取splits這個源碼看附件圖片.所以我們想要改變split大小(即改變mapTask)數(shù)目的時候需要在配置文件中添加參數(shù)
mapreduce.input.fileinputformat.split.minsize 和
mapreduce.input.fileinputformat.split.maxsize
來改變splits

源碼中的isSplitable（）：

  protected boolean isSplitable(FileSystem fs, Path filename) {
    return true;
  }

默認為切割文件，如果自定義InputFormat的話可以繼承FileInputFormat覆蓋isSplitable方法返回false

源碼中的getsplits主要代碼段：

public InputSplit[] getSplits(JobConf job, int numSplits)
    throws IOException {

        ......

          long blockSize = file.getBlockSize();
          long splitSize = computeSplitSize(goalSize, minSize, blockSize);

    }

如圖,調用了computeSplitSize()方法來獲取splitsize

最后,看一下computeSplitSize源碼:

  protected long computeSplitSize(long goalSize, long minSize,
                                       long blockSize) {
    return Math.max(minSize, Math.min(goalSize, blockSize));
  }

?所以從中可以看出來Math.max(minSize, Math.min(goalSize, blockSize));
決定了splitsize的大小

配置文件中可以配置:

mapreduce.input.fileinputformat.split.minsize 和
mapreduce.input.fileinputformat.split.maxsize
來改變splits,從而改變mapTask的數(shù)目:

MapTask數(shù)目=filesize/splitsize+1

關于MapReducer中Mapper的切片原理是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

分享標題：MapReducer中Mapper的切片原理是什么
文章起源：http://jinyejixie.com/article44/ijjjee.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、關鍵詞優(yōu)化、軟件開發(fā)、響應式網站、建站公司、搜索引擎優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)