centos7安裝hadoop-cdh-2.6-創(chuàng)新互聯(lián)

1.hadoop介紹　

成都創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)與策劃設(shè)計(jì),馬龍網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:馬龍等地區(qū)。馬龍做網(wǎng)站價(jià)格咨詢:028-86922220

Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)。以Hadoop分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的開源實(shí)現(xiàn)）為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。

對(duì)于Hadoop的集群來(lái)講，可以分成兩大類角色：Master和Salve。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對(duì)文件系統(tǒng)的訪問(wèn)操作；集群中的DataNode管理存儲(chǔ)的數(shù)據(jù)。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè)Job被提交時(shí)，JobTracker接收到提交作業(yè)和配置信息之后，就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn)，同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行。

從上面的介紹可以看出，HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，MapReduce在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理。HDFS在MapReduce任務(wù)處理過(guò)程中提供了文件操作和存儲(chǔ)等支持，MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了Hadoop分布式集群的主要任務(wù)。

1.2環(huán)境說(shuō)明

master 192.168.0.201

slave 192.168.0.220

兩個(gè)節(jié)點(diǎn)都是CentOS7

1.3環(huán)境準(zhǔn)備

永久關(guān)閉防火墻和selinux

systemctl  disable firewalld
systemctl  stop    firewalld
setenforce  0

1.4網(wǎng)絡(luò)配置

兩臺(tái)修改主機(jī)名:master/salve

設(shè)置hosts，能互相解析

1.5配置ssh互信

master 
  yum  -y install  sshpass
  ssh-keygen 一路回車
  ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.220
slave
  yum  -y install  sshpass
  ssh-keygen 一路回車
  ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.201
測(cè)試ssh對(duì)方主機(jī)，不提示輸入密碼則OK

2.安裝JDK

兩臺(tái)機(jī)器都裝

tar zxvf jdk-8u65-linux-x64.tar.gz
mv jdk1.8.0_65  /usr/jdk

2.1設(shè)置環(huán)境變量

兩臺(tái)機(jī)器都設(shè)置

export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
執(zhí)行 source  /etc/profile

3.測(cè)試JDK

java -version

3.1安裝Hadoop

官方網(wǎng)站下載CDH-2.6-hadoop:archive.cloudera.com/cdh6

tar zxvf hadoop-2.6.0-cdh6.4.8.tar.gz
mv hadoop-2.6.0-cdh6.4.8  /usr/hadoop
cd  /usr/hadoop
mkdir -p dfs/name
mkdir -p dfs/data
mkdir -p tmp

3.2添加slave

cd /usr/hadoop/etc/hadoop
 vim slaves
   192.168.0.220   #添加slaveIP

3.3修改hadoop-env.sh和yarn.env.sh

vim hadoop-env.sh / vim yarn-env.sh
export JAVA_HOME=/usr/jdk   #加入java變量

3.4修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.0.201:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/hadoop/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        </property>
</configuration>

3.5修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.0.201:9001</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
         <property>
                               <name>dfs.permissions</name>
                               <value>false</value>
                 </property>  
</configuration>
</configuration>

3.6修改mapred-site.xml

configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>192.168.0.201:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>192.168.0.201:19888</value>
        </property>
</configuration>

3.7修改yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>192.168.0.201:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>192.168.0.201:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>192.168.0.201:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>192.168.0.201:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>192.168.0.201:8088</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>768</value>
        </property>
</configuration>

4.把配置文件拷貝到slave端

scp -r /usr/hadoop root@192.168.0.220:/usr/

5.格式化nanenode

./bin/hdfs namenode -format

5.1啟動(dòng)hdfs

./sbin/start-dfs.sh$ ./sbin/start-yarn.sh

5.2檢查啟動(dòng)情況

輸入192.168.0.201:8088

centos7 安裝hadoop-cdh-2.6

輸入網(wǎng)址:192.168.0.201:9001

centos7 安裝hadoop-cdh-2.6

配置文件詳解:

core-site.xml

hadoop.tmp.dir
  hadoop文件系統(tǒng)依賴的基礎(chǔ)配置，很多路徑都依賴它。如果hdfs-site-xml中不配置namenode 和datanode的存放位置，默認(rèn)就放在這個(gè)路徑下 
fs.defaultFS
  這里的值指的是默認(rèn)的HDFS路徑。這里只有一個(gè)HDFS集群，在這里指定！

hdfs-site.xml

dfs.replication
 指定DataNode存儲(chǔ)block的副本數(shù)量。默認(rèn)值是3個(gè)，我們現(xiàn)在有4個(gè)DataNode，該值不大于4即可

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁(yè)題目：centos7安裝hadoop-cdh-2.6-創(chuàng)新互聯(lián)
URL鏈接：http://jinyejixie.com/article48/jggep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、軟件開發(fā)、全網(wǎng)營(yíng)銷推廣、電子商務(wù)、微信公眾號(hào)、定制開發(fā)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

centos7安裝hadoop-cdh-2.6-創(chuàng)新互聯(lián)