這篇文章主要講解了“如何安裝配置hadoop”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“如何安裝配置hadoop”吧！

企業(yè)建站必須是能夠以充分展現(xiàn)企業(yè)形象為主要目的，是企業(yè)文化與產(chǎn)品對(duì)外擴(kuò)展宣傳的重要窗口，一個(gè)合格的網(wǎng)站不僅僅能為公司帶來(lái)巨大的互聯(lián)網(wǎng)上的收集和信息發(fā)布平臺(tái)，成都創(chuàng)新互聯(lián)公司面向各種領(lǐng)域：成都服務(wù)器托管等成都網(wǎng)站設(shè)計(jì)公司、全網(wǎng)整合營(yíng)銷推廣解決方案、網(wǎng)站設(shè)計(jì)等建站排名服務(wù)。

一.配置java home

由于我的java系統(tǒng)是已經(jīng)安裝完畢，而且是1.8版本滿足hadoop要求，只要將java home 指向安裝的目錄即可
先要取得java的安裝目錄

先取得java命令路徑，命令路徑頭就是java的安裝目錄

ll了兩次都是軟鏈接，最后在/usr/lib...下找到了java的目錄，目錄我們只要復(fù)制到j(luò)re即可，多了少了都報(bào)錯(cuò)。
vim /etc/profile  #配置java home

#------------------------
#  properties jdk
#------------------------
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

二.下載hadoop ，配置hadoop home

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
#下載地址
mkdir /hadoop/
#創(chuàng)建hadoop 文件夾，將上面的文件下載到該文件夾，并解壓
ln -s hadoop-3.1.2 hadoop.soft
#創(chuàng)建個(gè)軟連接文件

vim /etc/profile #配置 hadoop home

#---------------------------
#  property  hadoop
#------------------------
export HADOOP_HOME=/hadoop/hadoop.soft
export PATH=${PATH}:${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin

source /etc/profile
#重載下配置文件
hadoop version
#執(zhí)行hadoop 驗(yàn)證命令，如果出現(xiàn)以下字符說(shuō)明安裝成功了

三.配置

cd /hadoop/hadoop.soft/etc/hadoop  #進(jìn)入配置文件文件夾
需要修改的以下文件

slaves

hadoop-env.sh

yarn-en.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.修改slaves
vim slaves

Slave1
Slave2
#兩個(gè)子節(jié)點(diǎn)

2.修改hadoop-env.sh，JAVA_HOME=$JAVA_HOME這一行，把它注釋掉，另外增加一行，添加內(nèi)容。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
#添加java home的路徑
3.修改yarn-env.sh，JAVA_HOME=$JAVA_HOME這一行，把它注釋掉，另外增加一行，添加內(nèi)容。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
4.修改core-site.xml，在<configuration> </configuration>之間添加內(nèi)容。

<property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://Master:9000</value>
                #這里填主機(jī)的host
   </property>

5.修改hdfs-site.xml，同樣在<configuration></configuration>之間添加內(nèi)容。

<property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>Master:9001</value>
       </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/hadoop/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/hadoop/dfs/date</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>3</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>

6.修改mapred-site.xml文件，配置文件中沒(méi)有這個(gè)文件，首先需要將mapred-site.xml.tmporary文件改名為mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
    </property>

7.修改yarn-site.xml

   <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master</value>
    </property>

在把需要的文件夾創(chuàng)建下
cd /hadoop
mkdir -pv tmp
mkdir -pv dfs/{name,date}

在把整個(gè)文件夾傳送給兩個(gè)子節(jié)點(diǎn)，保證所有節(jié)點(diǎn)的文件文件路徑都一樣，java 和hadoop 的home也配置成一樣，主節(jié)點(diǎn)怎么配子節(jié)點(diǎn)一樣配

scp -r /hadoop Slave1:/ #將整個(gè)hadoop文件夾復(fù)制一份給節(jié)點(diǎn)1  
scp -r /hadoop Slave2:/
四，格式化節(jié)點(diǎn)，啟動(dòng)hadoop
hdfs namenode -format  #格式化節(jié)點(diǎn)
這一步，在配置完所有文件后，開(kāi)啟hdfs,star-dfs.sh之前。只使用一次，之后每次開(kāi)啟hadoop都不需要，格式化名稱節(jié)點(diǎn)，如果沒(méi)有格式化名稱節(jié)點(diǎn)，就啟動(dòng)hadoop，start-dfs.sh，后面會(huì)出問(wèn)題。
解決方法：
關(guān)閉hdfs，把tmp，logs文件刪除，重新格式化namenode
stop-all.sh #關(guān)閉所有節(jié)點(diǎn)
rm -rf tmp
rm -rf logs
hdfs namenode -format
啟動(dòng)節(jié)點(diǎn)
su hadoop #切換到hadoop賬號(hào)
start-all.sh #啟動(dòng)所有有節(jié)點(diǎn)
netstat -nltp #查看監(jiān)聽(tīng)端口
訪問(wèn)9870端口

我這有兩個(gè)節(jié)點(diǎn)在線，另一個(gè)我關(guān)閉測(cè)試的，如果花紅圈的地方只有一個(gè)主節(jié)點(diǎn)的話
可以登錄到子節(jié)點(diǎn) 運(yùn)行以下命令，在子節(jié)點(diǎn)上啟動(dòng)
su hadoop
hadoop-daemon.sh start datanode #啟動(dòng)本機(jī)節(jié)點(diǎn)

四，一下簡(jiǎn)單命令

hadoop fs -mkdir /666      新建文件夾
hdfs dfs -put test.txt /666   上傳文件
hadoop fs -ls /            查看根目錄
hadoop fs -rmr /666       刪除666目錄

上傳一張圖片

到瀏覽器上看看

下載下來(lái)看看

感謝各位的閱讀，以上就是“如何安裝配置hadoop”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)如何安裝配置hadoop這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：如何安裝配置hadoop-創(chuàng)新互聯(lián)
分享鏈接：http://jinyejixie.com/article6/eidig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、虛擬主機(jī)、云服務(wù)器、網(wǎng)站設(shè)計(jì)公司、App開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)