第一部分：準(zhǔn)備Linux環(huán)境
創(chuàng)建虛擬機(jī)安裝系統(tǒng)的步驟在這里就不講了，詳細(xì)步驟請看本人其他文章
打開建好的虛擬機(jī)
一、修改Hostname
1、 臨時(shí)修改hostname

創(chuàng)新互聯(lián)公司專注于柳南企業(yè)網(wǎng)站建設(shè),自適應(yīng)網(wǎng)站建設(shè),電子商務(wù)商城網(wǎng)站建設(shè)。柳南網(wǎng)站建設(shè)公司,為柳南等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站開發(fā)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

hostname bigdata-01.liu.com

這種修改方式，系統(tǒng)重啟后就會(huì)失效
2、 永久修改hostname

vim /etc/sysconfig/network

打開后編輯如下內(nèi)容

NETWORKING=yes #使用網(wǎng)絡(luò)
HOSTNAME=bigdata-01.liu.com #設(shè)置主機(jī)名

二、配置Host

vim /etc/hosts

添加如下內(nèi)容

172.18.74.172 bigdata-01.liu.com

三、關(guān)閉防火墻

查看防火墻狀態(tài)

service iptables status

臨時(shí)關(guān)閉防火墻

service iptables stop

永久關(guān)閉防火墻(需要重啟才能生效)

chkconfig iptables off

四、關(guān)閉selinux
selinux是Linux一個(gè)子安全機(jī)制，學(xué)習(xí)環(huán)境可以將它禁用

vim /etc/sysconfig/selinux

把SELINUX設(shè)置成disabled

SELINUX=disabled

五、安裝JDK
檢測系統(tǒng)是否安裝jdk

java -version

如果顯示有openjdk需要先卸載，再安裝Oracle的jdk（其他版本的jdk對hadoop的一些命令不是很支持）

rpm -qa | grep java

卸載openjdk，.noarch的文件可以不用刪除

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.4.e17_5.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.4.e17_5.x86_64

然后再次使用rpm -qa | grep java 查看是否已經(jīng)卸載openjdk，如果還有就再卸載一遍

用xshell遠(yuǎn)程工具遠(yuǎn)程虛擬機(jī)，安裝lrzsz命令

yum -y install lrzsz

導(dǎo)入jdk包并解壓到 /opt/modules目錄下

rz
tar -zvxf jdk-8u181-linux-x64.tar.gz -C /opt/modules

添加環(huán)境變量
設(shè)置JDK的環(huán)境變量 JAVA_HOME，需要修改配置文件/etc/profile，追加

export JAVA_HOME="/opt/modules/jdk1.8.0_181"
export PATH=$JAVA_HOME/bin:$PATH

修改完畢后，執(zhí)行 source /etc/profile 使修改生效
再次執(zhí)行 java –version,可以看見已經(jīng)安裝完成

第二部分：hadoop安裝
完全分部式是真正利用多臺Linux主機(jī)來進(jìn)行部署Hadoop，對Linux機(jī)器集群進(jìn)行規(guī)劃，使得Hadoop各個(gè)模塊分別部署在不同的多臺機(jī)器上。
一、環(huán)境準(zhǔn)備
1.克隆虛擬機(jī)
Vmware左側(cè)選中要克隆的機(jī)器，這里對原有的BigData01機(jī)器進(jìn)行克隆，虛擬機(jī)菜單中，選中管理菜單下的克隆命令。

選擇“創(chuàng)建完整克隆”，虛擬機(jī)名稱為BigData02，選擇虛擬機(jī)文件保存路徑，進(jìn)行克隆。

再次克隆一個(gè)名為BigData03的虛擬機(jī)。
2.配置網(wǎng)絡(luò)
修改網(wǎng)卡名稱
在BigData02和BigData03機(jī)器上編輯網(wǎng)卡信息。執(zhí)行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因?yàn)槭菑腂igData01機(jī)器克隆來的，所以會(huì)保留BigData01的網(wǎng)卡eth0，并且再添加一個(gè)網(wǎng)卡eth2。并且eth0的Mac地址和BigData01的地址是一樣的，Mac地址不允許相同，所以要?jiǎng)h除eth0，只保留eth2網(wǎng)卡，并且要將eth2改名為eth0。將修改后的eth0的mac地址復(fù)制下來，修改network-scripts文件中的HWADDR屬性。

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改網(wǎng)絡(luò)參數(shù)：

BigData02機(jī)器IP改為172.18.74.173

BigData03機(jī)器IP改為172.18.74.174
??！如果是在真實(shí)的服務(wù)器里搭建Hadoop環(huán)境就需要再建兩個(gè)虛擬機(jī)，按照上面的步驟再來一遍了，服務(wù)器里克隆主機(jī)不是很理想?。?br/>3.配置Hostname以及hosts
BigData02配置hostname為 bigdata-02.liu.com

BigData03配置hostname為 bigdata-03.liu.com
BigData01、BigData02、BigData03三臺機(jī)器hosts都配置為：

172.18.74.172 bigdata-01.liu.com
172.18.74.173 bigdata-02.liu.com
172.18.74.174 bigdata-03.liu.com

4.配置Windows上的SSH客戶端

在本地Windows中的SSH客戶端上添加對BigData02、BigData03機(jī)器的SSH鏈接

二、服務(wù)器功能規(guī)劃

bigdata-01.liu.com	bigdata-02.liu.com	bigdata-03.liu.com
NameNode	ResourceManage	SecondaryNameNode
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager
HistoryServer

三、在第一臺機(jī)器上安裝新的Hadoop
創(chuàng)建hadoop目錄

mkdir -p /opt/modules/app

導(dǎo)入Hadoop壓縮包并解壓到Hadoop目錄

rz
tar -zxf /opt/sofeware/hadoop-2.7.4-with-centos-6.7.tar.gz -C /opt/modules/app/

切換到/opt/modules/app/hadoop-2.7.4/etc/hadoop目錄，配置該目錄下的Hadoop JDK路徑即修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑:

export JAVA_HOME="/opt/modules/jdk1.8.0_181"

配置core-site.xml
vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-01.liu.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/app/hadoop-2.7.4/data/tmp</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
</configuration>

fs.defaultFS為NameNode的地址。

hadoop.tmp.dir為hadoop臨時(shí)目錄的地址，默認(rèn)情況下，NameNode和DataNode的數(shù)據(jù)文件都會(huì)存在這個(gè)目錄下的對應(yīng)子目錄下。應(yīng)該保證此目錄是存在的，如果不存在，先創(chuàng)建。

配置hdfs-site.xml
vim hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata-03.liu.com:50090</value>
</property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，因?yàn)樵谝?guī)劃中，我們將BigData03規(guī)劃為SecondaryNameNode服務(wù)器,所以這里設(shè)置：bigdata-03.liu.com:50090
配置slaves
vim slaves

bigdata-01.liu.com
bigdata-02.liu.com
bigdata-03.liu.com

slaves文件是指定HDFS上有哪些DataNode節(jié)點(diǎn)

配置yarn-site.xml
vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata-02.liu.com</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
</configuration>

根據(jù)規(guī)劃yarn.resourcemanager.hostname這個(gè)指定resourcemanager服務(wù)器指向bigdata-02.liu.com

yarn.log-aggregation-enable是配置是否啟用日志聚集功能

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長時(shí)間
配置mapred-site.xml
從mapred-site.xml.template復(fù)制一個(gè)mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata-01.liu.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata-01.liu.com:19888</value>
</property>
</configuration>

mapreduce.framework.name設(shè)置mapreduce任務(wù)運(yùn)行在yarn上

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在BigData01機(jī)器上

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁面地址和端口號
四、設(shè)置SSH無密碼登錄
Hadoop集群中的各個(gè)機(jī)器間會(huì)相互地通過SSH訪問，每次訪問都輸入密碼是不現(xiàn)實(shí)的，所以要配置各個(gè)機(jī)器間的SSH是無密碼登錄的
在BigData01上生成公鑰

ssh-keygen -t rsa
一路回車，都設(shè)置為默認(rèn)值，然后再當(dāng)前用戶的Home目錄下的.ssh目錄中會(huì)生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）， .ssh是隱藏文件在home目錄下ls -a就會(huì)顯示出來

分發(fā)公鑰

ssh-copy-id bigdata-01.liu.com
ssh-copy-id bigdata-02.liu.com
ssh-copy-id bigdata-03.liu.com

五、分發(fā)Hadoop文件
首先在其他兩臺機(jī)器上創(chuàng)建存放Hadoop的目錄

mkdir -p /opt/modules/app

通過Scp分發(fā)

du -sh /opt/modules/app/hadoop-2.7.4/share/doc
scp -r /opt/modules/app/hadoop-2.7.4/ bigdata-02.liu.com:/opt/modules/app
scp -r /opt/modules/app/hadoop-2.7.4/ bigdata-03.liu.com:/opt/modules/app

格式NameNode
在NameNode機(jī)器bigdata-01上執(zhí)行格式化:

/opt/modules/app/hadoop-2.7.4/bin/hdfs namenode –format

格式化后在 /opt/modules/app/hadoop-2.7.4/data/tmp/dfs/data/ 目錄下會(huì)生成一個(gè)current目錄，里面有一系列文件

注意：
如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的文件全部刪除，不然會(huì)報(bào)錯(cuò)，NameNode和DataNode所在的目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性里配置的。
因?yàn)槊看胃袷交?，默認(rèn)是創(chuàng)建一個(gè)集群ID，并寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current），重新格式化時(shí)，默認(rèn)會(huì)生成一個(gè)新的集群ID,如果不刪除原來的目錄，會(huì)導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID，不一致時(shí)會(huì)報(bào)錯(cuò)。

六、啟動(dòng)集群
切換到/opt/modules/app/hadoop-2.7.4目錄下
啟動(dòng)HDFS

/opt/modules/app/hadoop-2.7.4/sbin/start-dfs.sh

jps查看已經(jīng)啟動(dòng)的服務(wù)

啟動(dòng)YARN

/opt/modules/app/hadoop-2.7.4/sbin/start-yarn.sh

也可以使用這條命令一步到位

/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh

在BigData02上啟動(dòng)ResourceManager:

sbin/yarn-daemon.sh start resourcemanager

啟動(dòng)日志服務(wù)器
因?yàn)槲覀円?guī)劃的是在BigData03服務(wù)器上運(yùn)行MapReduce日志服務(wù)，所以要在BigData03上啟動(dòng)

/opt/modules/app/hadoop-2.7.4/sbin/mr-jobhistory-daemon.sh start historyserver

查看HDFS Web頁面
http://bigdata-01.liu.com:50070/
如果域名沒有解析可以在搜索欄中輸入ip+端口如：

172.18.74.172:50070

查看YARN Web 頁面
http://bigdata-02.liu.com:8088/cluster

172.18.74.173:8088/cluster

好啦，到這里Hadoop集群環(huán)境的搭建就完成啦。建議Ha友們搭建Hadoop環(huán)境時(shí)先去了解一下各個(gè)組件是什么這樣更有利于你順利的完成Hadoop環(huán)境的搭建，我的一些同學(xué)他們學(xué)這個(gè)比較早，那時(shí)候也沒人了解Hadoop是什么，聽他們說搭建了10天半個(gè)月的才搭建出來，我就是在他們的影響下逐漸了解了點(diǎn)Hadoop的知識，用了一天多的時(shí)間搭建好了，搭建過程中還遇到了不少突發(fā)情況，所以如果搭建過程中沒有什么意外情況再加上提前了解過，半天就能搞定了，千萬不要遇到困難就放棄，堅(jiān)持一定會(huì)勝利的?。?br/>。。。從前車馬很慢，書信很遠(yuǎn)，一生只夠愛一個(gè)人?。?！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：Hadoop集群環(huán)境搭建-創(chuàng)新互聯(lián)
路徑分享：http://jinyejixie.com/article22/jsjjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開發(fā)、云服務(wù)器、商城網(wǎng)站、做網(wǎng)站、搜索引擎優(yōu)化、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)