本篇內(nèi)容主要講解“Hadoop集群該怎么搭建”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Hadoop集群該怎么搭建”吧!

創(chuàng)新互聯(lián)是一家專注于網(wǎng)站制作、成都網(wǎng)站制作與策劃設(shè)計,山陽網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:山陽等地區(qū)。山陽做網(wǎng)站價格咨詢:13518219792

一、Hadoop集群的基本概念。

Hadoop的運行模式分為3種：本地運行模式，偽分布運行模式，集群運行模式，相應(yīng)概念如下：

1、獨立模式即本地運行模式（standalone或local mode）無需運行任何守護(hù)進(jìn)程（daemon），所有程序都在單個JVM上執(zhí)行。由于在本機模式下測試和調(diào)試MapReduce程序較為方便，因此，這種模式適宜用在開發(fā)階段。單機模式是Hadoop的默認(rèn)模式。當(dāng)首次解壓Hadoop的源碼包時，Hadoop無法了解硬件安裝環(huán)境，便保守地選擇了最小配置。在這種默認(rèn)模式下所有3個XML文件均為空。當(dāng)配置文件為空時，Hadoop會完全運行在本地。因為不需要與其他節(jié)點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護(hù)進(jìn)程。該模式主要用于開發(fā)調(diào)試MapReduce程序的應(yīng)用邏輯。

2、偽分布運行模式偽分布:如果Hadoop對應(yīng)的Java進(jìn)程都運行在一個物理機器上,稱為偽分布運行模式。

3、集群模式如果Hadoop對應(yīng)的Java進(jìn)程運行在多臺物理機器上,稱為集群模式。

二、Hadoop集群搭建步驟。

1.服務(wù)器準(zhǔn)備

本案例使用虛擬機服務(wù)器來搭建HADOOP集群，所用軟件及版本：

Vmware 14.0

Centos 6.7 64bit

2.配置網(wǎng)卡

終端輸入 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0

輸入IP地址，子網(wǎng)掩碼，網(wǎng)卡，域名服務(wù)器

3.測試網(wǎng)卡配置是否正確

重啟網(wǎng)絡(luò)服務(wù) 輸入 service network restart

輸入 ping www.baidu.com 如果能ping通，則網(wǎng)卡配置成功

4.修改主機名

輸入 vi /etc/sysconfig/network ,修改主機名

5.關(guān)閉防火墻

service iptables stop 僅僅關(guān)閉一次

chkconfig iptables off 永久關(guān)閉

6.安裝ssh客戶端

執(zhí)行yum install -y openssh-clients

7.克隆服務(wù)器

關(guān)閉虛擬機，右鍵 > 管理 > 克隆，選擇完整克隆

為克隆好的機子配置網(wǎng)卡，執(zhí)行 vi /etc/udev/rules.d/70-persistent-net.rules

執(zhí)行 vi /etc/sysconfig/neywork-scripts/ifcfg-eth0，修改IP地址即可

執(zhí)行 vi /etc/sysconfig/network ,修改主機名為hadoop02

重復(fù)上述步驟，建立hadoop03服務(wù)器

重啟每部機子，使網(wǎng)卡生效

8.hosts映射

執(zhí)行 vi /etc/hosts,輸入以下內(nèi)容，在Windows的 C:\Windows\System32\drivers\etc\hosts下也輸入以下內(nèi)容

9.ssh鏈接及免密登錄

在hadoop01服務(wù)器上輸入 ssh hadoop02,測試ssh連接是否成功，

在hadoop01服務(wù)器上新建 vi Auto.sh文件，文件中寫入免密腳本

執(zhí)行腳本即可實現(xiàn)免密登錄(只是單項免密)

10.安裝JDK

1：把JDK安裝包上傳到linux

2 : 解壓文件到安裝目錄 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/

3 : 配置環(huán)境變量 vi /etc/profile,在末尾輸入

export PATH=$PATH:$JAVA_HOME/bin

11.安裝Hadoop

1 : 上傳hadoop安裝包

2 : 解壓文件到安裝目錄 tar -zxvf /root/hadoop-2.8.3.tar.gz -C /usr/local/

3 : 進(jìn)入hadoop安裝目錄下，cd hadoop-2.8.3/etc/hadoop下開始配置文件

4 : 執(zhí)行vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里

The java implementation to use.

export JAVA_HOME=/usr/local/jdk1.7.0_51

export JAVAHOME改為絕對路徑

5 : 執(zhí)行vi core-site.xml

6 : vi hdfs-site.xml

7 : 執(zhí)行改名cp mapred-site.xml.tmp* mapred-site.xml

vi mapred-site.xml

8 : vi yarn-site.xml

9 : vi salves

10 : 配置環(huán)境變量 vi /etc/profile

12.另外兩臺服務(wù)器的JDK和hadoop安裝

把第一臺安裝好的jdk和hadoop以及配置文件發(fā)送給另外兩臺

hosts文件 scp -r /etc/hosts/ hadoop02:/etc/

jdk安裝后的文件夾 scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

Hadoop安裝后的文件夾scp -r /usr/local/hadoop-2.8.3 hadoop02:/usr/local/

/etc/profile 配置文件 scp -r /etc/profile hadoop02:/etc/

hadoop03做同樣操作

13.啟動Hadoop集群

初始化HDFS(在hadoop01進(jìn)行操作)

bin/hadoop namenode -format

啟動HDFS

啟動YARN

hadoop集群搭建成功！

三、Hadoop集群搭建注意事項。

在初次搭建hadoop的過程難免會出現(xiàn)一些問題。諸如集群突然顯示虛擬機出現(xiàn)了問題，導(dǎo)致某一個DataNode數(shù)據(jù)丟失 并且無法通過Xshell遠(yuǎn)程訪問其他的DataNode 主機和虛擬機無法互相ping通，如果網(wǎng)上能找的解決辦法基本都找了，卻依然無法解決，就可以刪除虛擬機，重新克隆一臺機器。

到此，相信大家對“Hadoop集群該怎么搭建”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

網(wǎng)站題目：Hadoop集群該怎么搭建-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://jinyejixie.com/article14/jgsge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、建站公司、網(wǎng)站排名、App開發(fā)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)