hadoop3種集群方式包括獨(dú)立模式、偽分布式模式和完全分布式模式
1獨(dú)立模式
安裝
a)下載jdk-8u65-linux-x64.tar.gz
b)tar開
$>su centos ; cd ~
$>mkdir downloads
$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads
$>tar -xzvf jdk-8u65-linux-x64.tar.gz
c)創(chuàng)建/soft文件夾
$>sudo mkdir /soft
$>sudo chown centos:centos /soft
d)移動(dòng)tar開的文件到/soft下
$>mv ~/downloads/jdk-1.8.0_65 /soft/
e)創(chuàng)建符號連接
$>ln -s /soft/jdk-1.8.0_65 /soft/jdk
f)驗(yàn)證jdk安裝是否成功
$>cd /soft/jdk/bin
$>./java -version
配置jdk環(huán)境變量
1.編輯/etc/profile
$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin
2.使環(huán)境變量即刻生效
$>source /etc/profile
3.進(jìn)入任意目錄下,測試是否ok
$>cd ~
$>java -version
注意點(diǎn)
你創(chuàng)建文件夾一定和你登陸的用戶一致
安裝HADOOP軟件
1.安裝hadoop
a)下載hadoop-2.7.3.tar.gz
b)tar開
$>su centos ; cd ~
$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads
$>tar -xzvf hadoop-2.7.3.tar.gz
c)無
d)移動(dòng)tar開的文件到/soft下
$>mv ~/downloads/hadoop-2.7.3 /soft/
e)創(chuàng)建符號連接
$>ln -s /soft/hadoop-2.7.3 /soft/hadoop
f)驗(yàn)證hadoop安裝是否成功
$>cd /soft/hadoop/bin
$>./hadoop version
2.配置hadoop環(huán)境變量
$>sudo nano /etc/profile
...
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3.生效
$>source /etc/profile
4.進(jìn)入任意目錄下,測試是否ok
$>cd ~
$>hadoop version
5.nothing !
不需要啟用單獨(dú)的hadoop進(jìn)程。
6.hafs dfs -ls /home 和 linux中的ls效果一樣
偽分布模式(Pseudodistributed mode)
a)進(jìn)入${HADOOP_HOME}/etc/hadoop目錄
三種模式共存
1.創(chuàng)建三個(gè)配置目錄,內(nèi)容等同于hadoop目錄
${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full
2.創(chuàng)建符號連接
$>ln -spesudo hadoop
b)編輯core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)編輯hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)編輯mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)編輯yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml
f)配置SSH
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
分享文章:hadoop3種集群方式-創(chuàng)新互聯(lián)
文章鏈接:http://jinyejixie.com/article4/dcgeie.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計(jì)、域名注冊、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、云服務(wù)器
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容