Hadoop完全分布式部署

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比邗江網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式邗江網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋邗江地區(qū)。費(fèi)用合理售后完善，十余年實(shí)體公司更值得信賴。

一、概述

概念：

是一個(gè)可靠的、可伸縮的、分布式計(jì)算的開(kāi)源軟件。
是一個(gè)框架，允許跨越計(jì)算機(jī)集群的大數(shù)據(jù)及分布式處理，使用簡(jiǎn)單的編程模型（mapreduce）
可從單臺(tái)服務(wù)器擴(kuò)展至幾千臺(tái)主機(jī)，每個(gè)節(jié)點(diǎn)提供了計(jì)算和存儲(chǔ)功能。
不依賴于硬件處理HA，在應(yīng)用層面實(shí)現(xiàn)

特性4V：

volumn   體量大
velocity   速度快
variaty 樣式多
value  價(jià)值密度低

模塊：

hadoop common  公共類庫(kù)，支持其他模塊
HDFS       hadoop distributed file system，hadoop分布式文件系統(tǒng)
Hadoop yarn   作業(yè)調(diào)度和資源管理框架
hadoop mapreduce   基于yarn系統(tǒng)的大數(shù)據(jù)集并行處理技術(shù)。

二、安裝部署

2.1 主機(jī)規(guī)劃

主機(jī)名稱	IP地址	安裝節(jié)點(diǎn)應(yīng)用
hadoop-1	172.20.2.203	namenode/datanode/nodemanager
hadoop-2	172.20.2.204	secondarynode/datanode/nodemanager
hadoop-3	172.20.2.205	resourcemanager/datanode/nodemanager

2.2 部署

2.2.1 基礎(chǔ)環(huán)境配置

a.配置java環(huán)境

yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel -y
cat >/etc/profile.d/java.sh<<EOFexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.x86_64export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar 
export PATH=\$PATH:\$JAVA_HOME/binEOFsource /etc/profile.d/java.sh

b.修改主機(jī)名添加hosts

hostname hadoop-1cat >>/etc/hosts<<EOF172.20.2.203    hadoop-1172.20.2.204    hadoop-2172.20.2.205    hadoop-3EOF

c.創(chuàng)建用戶及目錄

useradd hadoop
echo "hadoopwd" |passwd hadoop --stdinmkdir -pv /data/hadoop/hdfs/{nn,snn,dn}chown -R hadoop:hadoop /data/hadoop/hdfs/mkdir -p /var/log/hadoop/yarnmkdir -p /dbapps/hadoop/logschmod g+w /dbapps/hadoop/logs/chown -R hadoop.hadoop /dbapps/hadoop/

d.配置hadoop環(huán)境變量

cat>/etc/profile.d/hadoop.sh<<EOFexport HADOOP_PREFIX=/usr/local/hadoopexport PATH=\$PATH:\$HADOOP_PREFIX/bin:\$HADOOP_PREFIX/sbinexport HADOOP_COMMON_HOME=\${HADOOP_PREFIX}export HADOOP_HDFS_HOME=\${HADOOP_PREFIX}export HADOOP_MAPRED_HOME=\${HADOOP_PREFIX}export HADOOP_YARN_HOME=\${HADOOP_PREFIX}EOFsource /etc/profile.d/hadoop.sh

e.下載并解壓軟件包

mkdir /software 
cd /software 
wget -c http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
tar -zxf hadoop-2.6.5.tar.gz -C /usr/localln -sv /usr/local/hadoop-2.6.5/ /usr/local/hadoop
chown hadoop.hadoop /usr/local/hadoop-2.6.5/ -R

f.hadoop用戶免密鑰配置

su - hadoop
ssh-keygen -t rsafor num in `seq 1 3`;do ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-$num;done

2.3 配置hadoop

2.3.1 配置各節(jié)點(diǎn)

配置master節(jié)點(diǎn)

hadoop-1節(jié)點(diǎn)運(yùn)行namenode/datanode/nodemanager,修改hadoop-1的hadoop配置文件

core-site.xml（定義namenode節(jié)點(diǎn)）

cat>/usr/local/hadoop/etc/hadoop/core-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop-1:8020</value><final>true</final></property></configuration>EOF

hdfs-site.xml修改replication為data節(jié)點(diǎn)數(shù)目  （定義secondary節(jié)點(diǎn)）

cat >/usr/local/hadoop/etc/hadoop/hdfs-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop-2:50090</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>file:///data/hadoop/hdfs/nn</value></property><property><name>dfs.datanode.data.dir</name><value>file:///data/hadoop/hdfs/dn</value></property><property><name>fs.checkpoint.dir</name><value>file:///data/hadoop/hdfs/snn</value></property><property><name>fs.checkpoint.edits.dir</name><value>file:///data/hadoop/hdfs/snn</value></property></configuration>EOF

添加mapred-site.xml

cat >/usr/local/hadoop/etc/hadoop/mapred-site.xml <<EOF
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>EOF

yarn-site.xml修改對(duì)應(yīng)values為master的主機(jī)名（定義resourcemanager節(jié)點(diǎn)）

cat >/usr/local/hadoop/etc/hadoop/yarn-site.xml<<EOF
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>yarn.resourcemanager.address</name><value>hadoop-3:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-3:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop-3:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop-3:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop-3:8088</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property></configuration>EOF

slaves(定義數(shù)據(jù)節(jié)點(diǎn))

cat >/usr/local/hadoop/etc/hadoop/slaves<<EOF
hadoop-1
hadoop-2
hadoop-3
EOF

同樣的步驟操作hadoop-2/3，建議將hadoop-1的文件直接分發(fā)至hadoop-2/3

2.3.2 格式化namenode

在NameNode機(jī)器上（hadoop-1）執(zhí)行格式化：

hdfs namenode -format

2.3.3 啟動(dòng)服務(wù)

在namenode hadoop-1執(zhí)行start-all.sh啟動(dòng)服務(wù)
在hadoop-3啟動(dòng)resourcemanager服務(wù)``

hadoop-2服務(wù)查看

hadoop-3服務(wù)查看

2.3.4 運(yùn)行測(cè)試程序

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 2 10

2.3.5 查看web界面

HDFS-NameNode

url:http://172.20.2.203:50070

YARN-ResourceManager

url:http://172.20.2.205:8088

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁(yè)題目：Hadoop完全分布式部署-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://jinyejixie.com/article8/coeoip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、建站公司、動(dòng)態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、ChatGPT、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)