本篇內(nèi)容主要講解“Hadoop集群安裝詳細(xì)步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Hadoop集群安裝詳細(xì)步驟”吧!

創(chuàng)新互聯(lián)建站專注于蕪湖縣網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供蕪湖縣營銷型網(wǎng)站建設(shè)，蕪湖縣網(wǎng)站制作、蕪湖縣網(wǎng)頁設(shè)計、蕪湖縣網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造蕪湖縣網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供蕪湖縣網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

Docker安裝Hadoop集群

一、單機hadoop
首先進(jìn)入我們已有容器：（docker exec -it NAMES（名字） COMMAND ‘/bin/bash’）
mkdir /usr/hadoop
Cd /usr/hadoop
解壓上傳來的hadoop，或wget獲取http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz
命令：tar xvzf 壓縮包（小編一般解壓完直接刪除壓縮包）

準(zhǔn)備工作已完成，開始搭建hadoop

編輯 .bashrc
Vi ~/.bashrc
加入如下內(nèi)容：
1.# Set Hadoop-related environment variables
export HADOOP_HOME=/usr/local/hadoop
 
2.# Add Hadoop bin/ directory to PATH
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
刷新一下：
Source ~/.bashrc

此處有坑：
找不到which的話執(zhí)行：yum install which

創(chuàng)建三個文件：
先進(jìn)cd /usr/local/hadoop/hadoop-2.7.2
mkdir tmp作為Hadoop的臨時目錄
mkdir datanode作為NameNode的存放目錄
mkdir namenode作為DataNode的存放目錄

配置文件：cd /usr/local/hadoop/hadoop-2.7.2/etc/hadoop

三個文件：
1.core-site.xml配置:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-2.7.2/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<final>true</final>
</configuration>

2.hdfs-site.xml配置:（一些配置為了集群而準(zhǔn)備）
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop-2.7.2/namenode</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop-2.7.2/datanode</value>
<final>true</final>
</property>
</configuration>
3.mapred-site.xml配置:(有個mapred-site.xml.template文件，更改為mapred-site.xml)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>

---

下面就指定JAVA_HOME環(huán)境變量:
使用命令vi hadoop-env.sh，添加如下配置：

The java implementation to use.

            export JAVA_HOME=/usr/java/jdk1.8.0_141

接著格式化 namenode
執(zhí)行命令：hadoop namenode -format
此刻hadoop配置就完成了。

二、 安裝SSH:
使用yum：      yum install passwd openssl openssh-server -y
因為我們是docker操作，他并不會自動啟動，所以我們?nèi)ソo他加到。Bashrc中

執(zhí)行命令添加如下內(nèi)容：Vi ~/.bashrc
#autorun
/usr/sbin/sshd
執(zhí)行命令生成秘鑰公鑰：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_dsa
cd ~/.ssh/
cat id_dsa.pub >> authorized_keys

chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys

補：
無密登錄問題：bash: ssh: command not found
解決辦法：yum -y install openssh-clients

到此位置我們保存容器為新的鏡像即可：
docker commit -m "hadoop install" 61c9cf8da12f linux:hadoop
此時我們已經(jīng)裝好了一個單機版的hadoop鏡像

檢測ssh：
命令1./usr/sbin/sshd
命令2.ssh

三、 docker hadoop集群：

切記： hostname、hosts配置在容器內(nèi)修改了，只能在本次容器生命周期內(nèi)有效。如果容器退出了，重新啟動，這兩個配置將被還原。且這兩個配置無法通過commit命令寫入鏡像。

三個容器啟動后分別配置hosts
vi /etc/hosts   注意修改ip地址：

172.17.0.2      master
172.17.0.3      slave1
172.17.0.4      slave2

啟動sshd  /usr/sbin/sshd

配置slaves：vi /usr/local/hadoop/hadoop-2.7.2/etc/hadoop/slaves
將：master
slave1
slave2
添加進(jìn)去之后：

分別啟動Hadoop：（進(jìn)入/usr/local/hadoop/hadoop-2.7.2/sbin）
            start-all.sh
分別查看--》節(jié)點上執(zhí)行jps命令

master如下：

slave1如下：

slave2如下：

還可以通過Web頁面看到查看DataNode和NameNode的狀態(tài):http://IP:50070/ ：

到此，相信大家對“Hadoop集群安裝詳細(xì)步驟”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

網(wǎng)頁題目：Hadoop集群安裝詳細(xì)步驟
鏈接分享：http://jinyejixie.com/article4/gpeeie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、品牌網(wǎng)站建設(shè)、微信公眾號、網(wǎng)站收錄、網(wǎng)站維護(hù)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)