今天就跟大家聊聊有關(guān)Hadoop集群怎么構(gòu)建，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了鄞州免費(fèi)建站歡迎大家使用！

建立一個(gè)集群的安裝選項(xiàng)

• Apache tarball 二進(jìn)制包 安裝靈活，工作量大

• Packages 各個(gè)Linux 發(fā)行版提供的包

• 集群管理工具 Cloudera Manager 和Apache Ambari

集群規(guī)范

• Hadoop 運(yùn)行在商業(yè)硬件上

• 商業(yè)硬件并不等同于低端硬件

• 也不推薦使用大型的數(shù)據(jù)庫(kù)級(jí)別的機(jī)器，性價(jià)比太低。

• 一般使用多核CPU和多磁盤

• HDFS namenode 節(jié)點(diǎn)采用RAID, datanode 不建議使用RAID

• 集群規(guī)模

• 你的集群需要增長(zhǎng)得多快？

• 網(wǎng)絡(luò)拓?fù)?

• DNSToSwitchMapping

集群的構(gòu)建和安裝

• 安裝Java

• 創(chuàng)建Unix 用戶賬號(hào)

• 解壓，額，最好不要放在home 目錄，因?yàn)閔ome目錄可能掛載在NFS上

• SSH 配置（分布式shell，公鑰共享）

• 配置Hadoop

• 格式化HDFS文件系統(tǒng)

• 啟動(dòng)和停止守護(hù)進(jìn)程

• 創(chuàng)建用戶目錄

• 在本地機(jī)器上啟動(dòng)一個(gè)資源管理器

• 在slaves 文件列舉的每臺(tái)機(jī)器上啟動(dòng)一個(gè)節(jié)點(diǎn)管理器

• 在每臺(tái)機(jī)器上啟動(dòng)一個(gè)namenode， 這些機(jī)器由執(zhí)行hdfs getconf -namenodes 得到的返回值所缺東

• 在slaves 文件列舉的每臺(tái)機(jī)器上啟動(dòng)一個(gè)datanode

• 在每臺(tái)機(jī)器上啟動(dòng)一個(gè)輔助namenode,這些機(jī)器由執(zhí)行 hdfs getconf -secondarynamenodes 得到的返回值所確定

• start-dfs.sh

• start-yarn.sh

• 此時(shí)是給目錄設(shè)置空間限制的好時(shí)機(jī)

• 最好創(chuàng)建特定的Unix 用戶賬號(hào)以區(qū)分各Hadoop進(jìn)程，及區(qū)分同一機(jī)器上的其他服務(wù)

• HDFS，MapReduce 和YARN服務(wù)通常作為獨(dú)立的用戶運(yùn)行，分別命名為hdfs,mapred 和yarn.他們都屬于同一hadoop組

• 安裝hadoop

Hadoop配置

• hadoop 分發(fā)包 etc/hadoop

• HADOOP_CONF_DIR

  hadoop-env.sh
  mapred-env.sh
  yarn-env.sh
  core-site.xml
  hdfs-site.xml
  mapred-site.xml
  yarn-site.xml
  slaves
  hadoop-metrics2.properties
  log4j.properties
  hadoop-policy.xml

• 配置管理

• 集群的每個(gè)節(jié)點(diǎn)都各自保存一系列配置文件，推薦使用控制

• 環(huán)境設(shè)置

      fs.defaultFS 
      dfs.namenode.name.dir
      dfs.datanode.data.dir
      dfs.namenode.checkpoint.dir

   

  守護(hù)進(jìn)程1000MB yarn.nodemanager.resource.memory-mb

  每個(gè)進(jìn)程占用一個(gè)核

• Hadoop守護(hù)進(jìn)程的地址和端口號(hào)

• yarn 和MapReduce 中的CPU設(shè)置

• 默認(rèn)情況下，HDFS存儲(chǔ)目錄放在 hadoop.tmp.dir 屬性設(shè)置的目錄下（/tmp/hadoop-${user.name}）,需要手動(dòng)更改

• yarn 和MapReduce中的內(nèi)存設(shè)置

• 內(nèi)存堆大小 默認(rèn)各個(gè)守護(hù)進(jìn)程分配1000MB內(nèi)存

• 系統(tǒng)日志文件

• SSH設(shè)置

• hadoop 守護(hù)進(jìn)程的一些關(guān)鍵屬性

• hadoop其他屬性

• 緩沖區(qū) 大小 4kB

• HDFS 塊 128MB

• 回收站（額，神奇的東東）

安全性

• kerberos

• 委托令牌

看完上述內(nèi)容，你們對(duì)Hadoop集群怎么構(gòu)建有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

當(dāng)前標(biāo)題：Hadoop集群怎么構(gòu)建
轉(zhuǎn)載來(lái)于：http://jinyejixie.com/article30/ijgspo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開(kāi)發(fā)、網(wǎng)站排名、域名注冊(cè)、網(wǎng)站設(shè)計(jì)、服務(wù)器托管、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)