一、環(huán)境選擇

1，服務器選擇

阿里云服務器:入門型(按量付費)
操作系統(tǒng):linux CentOS 6.8
Cpu：1核
內(nèi)存：1G
硬盤:40G
ip:39.108.77.250

創(chuàng)新互聯(lián)公司專注于企業(yè)成都營銷網(wǎng)站建設、網(wǎng)站重做改版、眉山網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、H5建站、商城建設、集團公司官網(wǎng)建設、成都外貿(mào)網(wǎng)站建設、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為眉山等各大城市提供網(wǎng)站開發(fā)制作服務。

2，配置選擇

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

3，下載地址

官網(wǎng)地址:
JDK：
http://www.oracle.com/technetwork/java/javase/downloads

Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common

百度云:

鏈接：http://pan.baidu.com/s/1pLqS4kF 密碼：yb79

二、服務器的相關(guān)配置

在配置Hadoop之前，應該先做以下配置

1，更改主機名

首先更改主機名，目的是為了方便管理。
輸入:

hostname

查看本機的名稱
然后輸入:

vim /etc/sysconfig/network

修改主機名稱
將HOSTNAME 的名稱更改為你想要設置的名稱

注:主機名稱更改之后，要重啟(reboot)才會生效。

輸入

vim /etc/hosts

添加 主機IP 和對應的主機名稱，做映射。

注:在配置文件中使用主機名的話，這個映射必須做！

2，關(guān)閉防火墻

關(guān)閉防火墻，方便外部訪問。
CentOS 7版本以下輸入:
關(guān)閉防火墻

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl   stop   firewalld.service

3，時間設置

輸入:

date

查看服務器時間是否一致，若不一致則更改
更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop環(huán)境安裝

1，下載jdk、hadoop

將下載下來的 jdk、hadoop 解壓包放在home 目錄下
并新建java、hadoop文件夾

3.1.1解壓文件

輸入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.8.2.tar.gz
解壓jdk和hadoop ,分別移動文件到java和hadoop文件下，
并將文件夾重命名為jdk1.8和hadoop2.8

2，JDK環(huán)境配置

首先輸入

java -version

查看是否安裝了JDK，如果安裝了，但版本不適合的話，就卸載

3.2.1 profile 文件更改

編輯 /etc/profile 文件
輸入:

vim /etc/profile

整體的配置文件:

export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

注: JAVA_HOME的路徑是 JDK的路徑

使用vim 編輯之后 記得輸入

source /etc/profile

使配置生效

配置完后，輸入java -version 查看版本信息

3，Hadoop 環(huán)境配置

3.3.1 profile 文件更改

編輯 /etc/profile 文件
輸入:

vim /etc/profile

整體的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

輸入:

source  /etc/profile

使配置生效

修改配置文件

3.3.2新建文件夾

在修改配置文件之前，現(xiàn)在root目錄下建立一些文件夾。
輸入:

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

注:在root目錄下新建文件夾是防止被莫名的刪除。

首先切換到 /home/hadoop/hadoop2.8/etc/hadoop/ 目錄下

3.3.3修改 core-site.xml

輸入:

vim core-site.xml

在<configuration>添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://test1:9000</value>
   </property>
</configuration>

說明: test1 可以替換為主機的ip。

3.3.4修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改為自己的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改為：

export   JAVA_HOME=/home/java/jdk1.8

3.4.5修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在<configuration>添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

說明：dfs.permissions配置為false后，可以允許不要檢查權(quán)限就生成dfs上的文件，方便倒是方便了，但是你需要防止誤刪除，請將它設置為true，或者直接將該property節(jié)點刪除，因為默認就是true。

3.4.6 修改mapred-site.xml

如果沒有 mapred-site.xml 該文件，就復制mapred-site.xml.template文件并重命名為mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個新建的mapred-site.xml文件，在<configuration>節(jié)點內(nèi)加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>test1:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

使用的命令:

到此 Hadoop 的單機模式的配置就完成了。

四、Hadoop啟動

第一次啟動Hadoop需要初始化
切換到 /home/hadoop/hadoop2.8/bin目錄下輸入

  ./hadoop  namenode  -format

初始化成功后，可以在/root/hadoop/dfs/name 目錄下(該路徑在hdfs-site.xml文件中進行了相應配置，并新建了該文件夾)新增了一個current 目錄以及一些文件。

啟動Hadoop 主要是啟動HDFS和YARN
切換到/home/hadoop/hadoop2.8/sbin目錄
啟動HDFS
輸入:

start-dfs.sh

登錄會詢問是否連接，輸入yes ，然后輸入密碼就可以了

啟動YARN
輸入:

start-yarn.sh

可以輸入 jps 查看是否成功啟動

在瀏覽器輸入:
http://39.108.77.250:8088/cluster

輸入:
http://39.108.77.250:50070

注:當時忘記截圖了，這張使用的是本地用虛擬機搭建環(huán)境的圖片。
到此，Hadoop的單機配置就結(jié)束了。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

標題名稱：大數(shù)據(jù)學習系列之一-----Hadoop環(huán)境搭建(單機)-創(chuàng)新互聯(lián)
標題網(wǎng)址：http://jinyejixie.com/article28/ccspjp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供響應式網(wǎng)站、搜索引擎優(yōu)化、云服務器、動態(tài)網(wǎng)站、品牌網(wǎng)站制作、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)