互聯(lián)網(wǎng)IDC圈4月8日報道，在2010年，沒有人知道什么是Hadoop，但是今天，房間里的大象這個標志已經(jīng)成為了大數(shù)據(jù)的寵兒。根據(jù)Wikibon, Hadoop市場在2012年，供應(yīng)商的收入已經(jīng)有256美元，預(yù)計2017年底增加到17億、程序員、架構(gòu)師、系統(tǒng)管理員和數(shù)據(jù)倉庫員都在千方百計地學(xué)習(xí)存儲和處理大數(shù)據(jù)集的Hadoop。開始一個Hadoop管理員面試將會成為一個單調(diào)枯燥的工作，如果你沒有花足夠的時間來準備。

創(chuàng)新互聯(lián)主營峨山縣網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都APP應(yīng)用開發(fā),峨山縣h5微信小程序定制開發(fā)搭建,峨山縣網(wǎng)站營銷推廣歡迎峨山縣等地區(qū)企業(yè)咨詢

專業(yè)人士正在嘗試為hadoop開發(fā)者和管理者工作，不僅僅是要努力準備hadoop管理者的面試題。當人們處在hadoop開發(fā)者的位置，可以自由的準備與管理相關(guān)的hadoop面試問題，這對于那些正在準備進入hadoop管理者的角色的人們是很重要的，獲得hadoop管理者面試問題的細節(jié)。在我之前的TOP100的帖子里的面試問題及答案和TOP50的Hadoop的面試問題，我們列出了所有可能對Hadoop開發(fā)面試者問的問題。本文列舉了頂級Hadoop管理員的面試問題及答案，這些問題和答案在hadoop管理工作面試時很可能會被問到的。

計算機研究發(fā)現(xiàn)Hadoop的技能差距是整個大數(shù)據(jù)范圍內(nèi)大的。在大數(shù)據(jù)的空間里，Hadoop被各行業(yè)應(yīng)用，Hadoop管理的重要性是不容忽視的。無數(shù)的行業(yè)招聘Hadoop管理人員，確保他們的大數(shù)據(jù)系統(tǒng)可以在最復(fù)雜和動態(tài)的環(huán)境下被選中。從金融業(yè)到政府部門，各行業(yè)招聘hadoop管理人員來管理他們的大數(shù)據(jù)平臺。Hadoop管理專業(yè)人才的需求量正不斷上升，以滿足專業(yè)人才的缺乏。

如何準備一個Hadoop管理者面試?

Hadoop管理員面試，圍繞Hadoop軟件安裝，配置和維護，測試一個考生的知識范圍，一個Hadoop管理員需要基于利益相關(guān)者的需求研究實現(xiàn)特定的平臺大數(shù)據(jù)解決方案。這是一個面試者為Hadoop管理員面試所必要的，精通大型數(shù)據(jù)管理的概念。為了證明自己是一位合格的Hadoop管理員的候選人，確保對于處理Hadoop項目的知識和管理能力，展示特定領(lǐng)域的興趣和專業(yè)知識，具有多任務(wù)處理能力和領(lǐng)導(dǎo)能力。

如果你已經(jīng)申請了Hadoop的管理員工作，那么它值得你花一些時間去回顧這些列在下面的面試問題，當你準備面試時——

Hadoop管理員面試問題與回答

1、 解釋不同的配置文件以及它們位于何處

配置文件位于conf子目錄。Hadoop有3個不同的配置文件，hdfs-site.xml, core-site.xml 和 mapred-site.xml。

2、 要求運行Hadoop集群的進程是什么

Namenode，DataNode，TaskTracker和JobTracker

3、 你將如何重新啟動節(jié)點?

最簡單的做法是運行停止運行命令shell腳本，即點擊stop-all.sh。一旦這樣做了，重啟NameNode點擊start-all.sh。

4、 解釋在Hadoop上的不同的調(diào)度程序。

FIFO調(diào)度——調(diào)度系統(tǒng)中不考慮系統(tǒng)中的異質(zhì)性，但命令工作是基于排隊達到的時間。

COSHH——這個計劃考慮工作量，調(diào)度決策的聚類和用戶異質(zhì)性。

公平分享——Hadoop調(diào)度為每個用戶定義。這個地方包含一個資源地圖以及減少資源上的狹縫。每個用戶都可以使用自己的資源去執(zhí)行這個作業(yè)。

5、 列出幾個用于執(zhí)行復(fù)制操作的Hadoop命令

fs –put

fs –copyToLocal

fs –copyFromLocal

6、 什么是指揮用的JPS?

JPS命令用于驗證程序，這種程序運行Hadoop集群是否工作。它命令顯示輸出者的NameNode的現(xiàn)狀，Secondary NameNode, DataNode, TaskTracker 和 JobTracker。

7、 當Hadoop部署生產(chǎn)環(huán)境時，什么重要的硬件因素應(yīng)該考慮?

基于應(yīng)用程序的工作服務(wù)和管理服務(wù)之間的內(nèi)存系統(tǒng)的內(nèi)存需求會有所不同。

操作系統(tǒng)——一個64位操作系統(tǒng)，避免了任何限制，可用于在工作節(jié)點上的內(nèi)存量。

存儲——最好是通過移動計算活動數(shù)據(jù)實現(xiàn)可擴展性和高性能的Hadoop平臺設(shè)計。

容量——大形的因子磁盤(3.5”)磁盤的成本比較低，相比比較小的形式因素磁盤允許存儲更多內(nèi)容。

網(wǎng)絡(luò)——兩個TOR網(wǎng)絡(luò)交換機提供了較好的冗余。

計算能力可以在Hadoop集群的Mapreduce槽可用的數(shù)量節(jié)點決定。

8、 有多少節(jié)點可以運行在一個單一的Hadoop集群?

只有一個

9、 當Hadoop集群上的節(jié)點下來會發(fā)生什么呢?

文件系統(tǒng)脫機時，Namenode下來了。

10、 什么是hadoop-env.sh下的文件和在文件應(yīng)設(shè)置為Hadoop的工作上的變量?

這個文件提供hadoop的運行環(huán)境，包括以下variables-hadoop_classpath，java_home和hadoop_log_dir。java_home變量應(yīng)為Hadoop運行。

11)除了利用JPS的命令還有任何其他什么方法，你可以檢查是否它是工作。

使用命令/ etc / init.d/hadoop-0.20-namenode狀態(tài)。

12)在一個MapReduce系統(tǒng)，如果HDFS塊大小為64 MB，有3個文件的大小127mb，64K和65mb與fileinputformat。在這種情況下，有多少輸入將很可能是由Hadoop框架組成。

2個分別為127 MB和65 MB的文件或者一個是64KB的文件。

13)該命令是檢驗HDFS是否被破壞?

hadoop fsck(文件系統(tǒng)檢查)命令用于檢查丟失塊。

14)列出了一些使用Hadoop生態(tài)系統(tǒng)的案例

文本挖掘，圖分析，語義分析，情感分析，推薦系統(tǒng)。

15)你怎樣讓一個Hadoop不工作

Hadoop的工作–清除工作ID。

16)我想看到所有的工作在Hadoop集群上運行。你該怎么做?

使用命令–Hadoop作業(yè)–列表，給出了在Hadoop集群上運行的工作列表。

17)是否可以在多個集群中復(fù)制文件?如果是，你怎么能做到這一項呢?

是的，它可能的復(fù)制文件到多個Hadoop集群，這可以使用分布式復(fù)制實現(xiàn)。distcp命令用于內(nèi)部或跨集群復(fù)制。

18)什么是最好的運行Hadoop操作系統(tǒng)?

Ubuntu和Linux是選的運行Hadoop的操作系統(tǒng)。雖然Windows操作系統(tǒng)也可以用來運行Hadoop的但它會導(dǎo)致一些問題，所以并不推薦。

19)運行Hadoop的網(wǎng)絡(luò)要求是什么?

SSH是需要運行啟動服務(wù)器進程從屬節(jié)點。

一個密碼需要更少的SSH在主人，機器，和所有的苦工之間的連接。

20)將mapred.output.compress屬性設(shè)置為true，以確保所有的輸出文件壓縮在高效的空間使用Hadoop集群上。在特定情況下，如果群集用戶不需要對工作進行壓縮數(shù)據(jù)。你建議他做什么?

如果用戶不想壓縮數(shù)據(jù)的一個特定的工作就應(yīng)該創(chuàng)建自己的配置文件并且設(shè)置mapred.output.compress屬性為false。這個配置文件之后作為一個資源加載到相關(guān)工作。

21)什么是實施一次最佳實踐的NameNode?

它始終是在一個單獨的獨立的機器更好地部署第二個Namenode。當次級節(jié)點部署在一個單獨的機器不受主節(jié)點干擾的操作。

22)應(yīng)該多長時間給NameNode重新格式化嗎?

Namenode不能格式化。這樣做會導(dǎo)致數(shù)據(jù)完全的丟失。NameNode是一次格式化開始之后，它創(chuàng)造了整個文件系統(tǒng)的元數(shù)據(jù)和命名空間ID目錄結(jié)構(gòu)。

23)如果Hadoop產(chǎn)生了100個任務(wù)工作，并且其中一個任務(wù)失敗。Hadoop該怎么做呢?

任務(wù)將再次開始一個新的TaskTracker，并且默認設(shè)置逾期不超過4次，(默認值是可以改變的)，工作將會失敗。

24)你如何添加和刪除節(jié)點的Hadoop集群?

在HDFS集群中添加新節(jié)點，主機名應(yīng)該被添加到文件然后在DataNode和TaskTracker開始在新的節(jié)點。

刪除或退役從HDFS集群的節(jié)點，主機名應(yīng)該是從slaves–refreshnodes刪除文件執(zhí)行。

25)您增加復(fù)制級別，但注意到該數(shù)據(jù)已復(fù)制。什么原因?qū)е洛e誤?

其實沒有任何錯誤，如果有大量的數(shù)據(jù)，因為數(shù)據(jù)復(fù)制通常需要在時間的基礎(chǔ)上的數(shù)據(jù)大小作為集群進行數(shù)據(jù)復(fù)制，它可能需要幾個小時。

Hadoop管理面試題

1、當你第一次Hadoop集群啟動安裝過程，你會怎樣設(shè)置安裝程序?

2、你將如何安裝新組件或添加到現(xiàn)有的Hadoop集群服務(wù)?

3、如果Hive的元數(shù)據(jù)服務(wù)在下降，那么將對Hadoop集群有什么影響?

4、當你建立一個Hadoop集群，你將如何決集群的大小?

5、你怎么在同一集群運行Hadoop和實時進程?

6、如果你得到一個拒絕連接的案例-當?shù)卿浀揭慌_機器上的集群，可能是什么原因?你將如何解決這個問題?

7、你如何識別和解決長期運行的工作?

8、你怎么決定一個NameNode和Hadoop服務(wù)的堆內(nèi)存的限制?

9、如果Hadoop服務(wù)在Hadoop集群上運行緩慢，什么是它的根源，你將如何鑒別呢?

10、有多少數(shù)據(jù)節(jié)點可以運行在一個單一的Hadoop集群?

11、在Hadoop2.0和Hadoop 1.0配置

12、在高可用性的情況下，如果連接待機和活躍節(jié)點丟失。這種Hadoop集群將如何影響?

13、ZooKeeper服務(wù)在Hadoop 2和Hadoop1所需的最小數(shù)目是多少?

14、如果一個Hadoop集群的一些機器硬件質(zhì)量很低。如何影響集群的性能和整體性能?

15、如何確定一個特定的節(jié)點，節(jié)點是死的嗎?

16、解釋“黑名單節(jié)點”和“死區(qū)節(jié)點”之間的區(qū)別。

17、你怎么增加NameNode的內(nèi)存?

18、在Hadoop的調(diào)度配置能力。

19、重新啟動后的集群之后，如果MapReduce之前的工作現(xiàn)在沒有實現(xiàn)，當重新開始的時候可能會出什么錯誤?

20、說明添加和刪除一個節(jié)點的Hadoop集群的步驟。

21、在一個大且繁忙的Hadoop集群，如何識別長期運行的工作?

22、當Namenode關(guān)閉時，JobTracker做什么?

23、當手動配置Hadoop，這屬性文件的修改應(yīng)配置槽?

24、如何將新用戶添加到集群中?

25、推測執(zhí)行的優(yōu)勢是什么?在什么情況下，推測執(zhí)行可能不會是有益的?

開放的Hadoop管理員面試題

這些面試題是以個案為基礎(chǔ)的，根據(jù)——你在哪里申請這個Hadoop管理員角色，你在這個角色是否有一些經(jīng)驗 。請在下面的評論中分享你的Hadoop管理員面試經(jīng)驗。

1、你目前的Hadoop工作符合你目前的項目角色和責(zé)任描述嗎?

2、哪些工具用在你的項目監(jiān)測的hadoop集群和節(jié)點?

3、你認為在一個集群中會出現(xiàn)多少個節(jié)點?

4、你在任何組織中致力于go-live工程嗎?

5、哪一種MapReduce版本適合配置你的Hadoop集群?

6、說明在公司任何明顯的Hadoop案例情況，有助于大限度地提高其盈利能力?

7、你怎么從無到有建立Hadoop集群?

8、你遵從什么標準程序部署Hadoop?

9、你將如何管理一個Hadoop系統(tǒng)?

10、你會更喜歡使用哪種工具監(jiān)控Hadoop和HBase的集群?

上面的列表只是對Hadoop管理員的不同類型的面試問題的概述。然而，Hadoop管理員面試問題基于你的工作經(jīng)驗，來自的業(yè)務(wù)領(lǐng)域的不同而完全不同。你是否擔(dān)心沒有經(jīng)驗，如果你清楚你的基礎(chǔ)以及Hadoop項目的工作經(jīng)驗，公司是愿意雇傭你的。開始最重要的事情，是準備在hadoop管理中準備一個偉大的職業(yè)生涯，并且你一定可以成功的掌控一個hadoop管理員面試。為追求卓越和成功努力吧。

網(wǎng)站欄目：頂級Hadoop管理員面試問題與回答
標題URL：http://jinyejixie.com/article40/chjdho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、ChatGPT、微信公眾號、定制網(wǎng)站、搜索引擎優(yōu)化、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)