這篇文章主要介紹了Hadoop中mapred包和mapreduce包有什么區(qū)別,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
為南部等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務,及南部網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為做網(wǎng)站、成都網(wǎng)站建設、南部網(wǎng)站設計,以傳統(tǒng)方式定制建設網(wǎng)站,并提供域名空間備案等一條龍服務,秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
#區(qū)別
mapred代表的是hadoop舊API,而mapreduce代表的是hadoop新的API
新的API傾向于使用抽象類,而不是接口,使用抽象類更容易擴展。例如,我們可以向一個抽象類中添加一個方法(用默認的實現(xiàn))而不用修改類之前的實現(xiàn)方法。因此,在新的API中,Mapper和Reducer是抽象類。
新的API廣泛使用context object(上下文對象),并允許用戶代碼與MapReduce系統(tǒng)進行通信。例如,在新的API中,MapContext基本上充當著JobConf的OutputCollector和Reporter的角色。
新的API統(tǒng)一了配置。舊的API有一個特殊的JobConf對象用于作業(yè)配置,這是一個對于Hadoop通常的Configuration對象的擴展。在新的API中,這種區(qū)別沒有了,所以作業(yè)配置通過Configuration來完成。作業(yè)控制的執(zhí)行由Job類來負責,而不是JobClient,并且JobConf和JobClient在新的API中已經(jīng)蕩然無存。這就是上面提到的,為什么只有在mapred中才有Jobconf的原因。
新的API同時支持"推"和"拉"式的迭代。在這兩個新老API中,鍵/值記錄對被推mapper中,但除此之外,新的API允許把記錄從map()方法中拉出,這也適用于reducer。分批處理記錄是應用"拉"式的一個例子(求高手指點?)
感謝你能夠認真閱讀完這篇文章,希望小編分享的“Hadoop中mapred包和mapreduce包有什么區(qū)別”這篇文章對大家有幫助,同時也希望大家多多支持創(chuàng)新互聯(lián),關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關知識等著你來學習!
文章標題:Hadoop中mapred包和mapreduce包有什么區(qū)別
本文URL:http://jinyejixie.com/article18/ppejgp.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供定制開發(fā)、軟件開發(fā)、品牌網(wǎng)站制作、標簽優(yōu)化、網(wǎng)站導航、營銷型網(wǎng)站建設
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)