成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

HDFS怎么安裝

這篇文章主要為大家展示了“HDFS怎么安裝”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“HDFS怎么安裝”這篇文章吧。

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供河北網站建設、河北做網站、河北網站設計、河北網站制作等企業(yè)網站建設、網頁設計與制作、河北企業(yè)網站模板建站服務，十多年河北做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

1.系統(tǒng)環(huán)境

  1. 安裝java（大于1.6版本）

  2. 安裝ssh和rsync，并且啟動ssh服務

  3. 下載hadoop包，用編譯后的包,地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/

環(huán)境說明：

  1. Linux發(fā)行版：centos6.5(64位，hadoop新版的只提供了64位包)

  2. Hadoop版本：2.5.1

  3. Java版本：1.7.0.67

  4. 設置了3個虛擬機，host為namenode(192.168.59.103)，datanode1(192.168.59.104)和datanode2(192.168.59.105)

2.配置SSH

    1.生成ssh key（namenode機器和datanode機器都是需要進行下面配置）

  1. $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 644 authorized_keys #該步驟在centos需要，在ubuntu是可以不用的

    2.通過下面命令，如果可以直接登陸，說明免密碼登錄已經設置成功。

  1. $ ssh localhost

    3.在2臺datanode機器同樣生成自動登陸的ssh key，并將namenode的id_dsa.pub到datanode1和datanode2的.ssh的目錄下面

  1. # 在namenode的機器，根目錄下面的.ssh
$ scp id_dsa.pub hadoop@datanode1:~/.ssh/id_dsa.pub.namenode
$ scp id_dsa.pub hadoop@datanode2:~/.ssh/id_dsa.pub.namenode
# 在datanode1和datanode2的.ssh目錄下面
$ cat id_dsa.pub.namenode >> authorized_keys

    4.驗證是否能通過ssh無密碼登錄到dataname1和datanode2，出現(xiàn)標紅的說明配置成功。

  1. [hadoop@namenode .ssh]$ ssh datanode1
Last login: Sun Nov 30 11:03:52 2014 from 192.168.59.103
[hadoop@datanode1 ~]$ exit
logout
Connection to datanode1 closed.
[hadoop@namenode .ssh]$ ssh datanode2
Last login: Sun Nov 30 11:03:15 2014 from localhost.localdomain
[hadoop@datanode2 ~]$ exit
logout
Connection to datanode2 closed.

3.配置基礎環(huán)境變量

     分別在namenode，datanode1和datanode2根目錄下面的.bash_profile配置下面內容：

  1. # java環(huán)境變量
export JAVA_HOME=/home/hadoop/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# hadoop環(huán)境變量
export HADOOP_DEV_HOME=/home/hadoop/local/hadoop
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    配置完成之后，需要重新登陸來加載環(huán)境變量(或者通過source ~/.bash_profile);通過下面的命令可以查看環(huán)境變量是否配置正常。

  1. [hadoop@namenode ~]$ java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
[hadoop@namenode ~]$ hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

4.配置hadoop

  在namenode配置完成之后直接scp到其他datanode即可，這樣可以保證機器配置的一致性。

  1. $ cd ~/local/hadoop/etc/hadoop

   所有的配置文件都在這里。

   打開hadoop-env.sh，配置jdk環(huán)境變量：

  1. # 將export JAVA_HOME=${JAVA_HOME}替換為
export JAVA_HOME=/home/hadoop/local/jdk

    配置yarn-env.sh:

  1. # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 去掉注釋，并且替換為下面內容
export JAVA_HOME=/home/hadoop/local/jdk

    配置slave文件（hdfs的datanode機器配置）：

  1. [hadoop@namenode hadoop]$ cat slaves
namenode
datanode1
datanode2

    配置core-site.xml（hadoop的核心策略配置文件）

  1. [hadoop@namenode hadoop]$ cat core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

    配置hdfs-site.xml（hdfs的策略配置文件）：

  1. <configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>namenode:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>  
        <value>file:/home/hadoop/hadoop/data</value>
</property>  
    <property>
<name>dfs.replication</name>  
        <value>2</value>
<description>storage copy number</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

到此，整個hdfs的分布式文件系統(tǒng)就配置完成，把上面的hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml同步到datanode的機器上面。

5.啟動服務

通過下面命令進行操作

  1. [hadoop@namenode hadoop]$ cd /home/hadoop/local/hadoop
[hadoop@namenode hadoop]$ bin/hdfs namenode -format
[hadoop@namenode hadoop]$ sbin/start-dfs.sh

第二個命令是為格式化整個hdfs的namenode節(jié)點，格式化之后會在配置的hadoop的name下面出現(xiàn)下面目錄結構

  1. [hadoop@namenode hadoop]$ tree name
name
├── current
│   ├── edits_inprogress_0000000000000000001
│   ├── fsimage_0000000000000000000
│   ├── fsimage_0000000000000000000.md5
│   ├── seen_txid
│   └── VERSION
└── in_use.lock

在這個目錄中，有2個重要的文件：fsimage和edits。

    其中fsimage鏡像文件包含了整個HDFS文件系統(tǒng)的所有目錄和文件的indoe信息。對于文件來說包括了數(shù)據(jù)塊描述信息、修改時間、訪問時間等；對于目錄來說包括修改時間、訪問權限控制信息(目錄所屬用戶，所在組等)等。

    另外，edit文件主要是在NameNode已經啟動情況下對HDFS進行的各種更新操作進行記錄，HDFS客戶端執(zhí)行所有的寫操作都會被記錄到edit文件中。

啟動dfs之后，從我們配置的data目錄可以看見下面目錄結果

[hadoop@namenode hadoop]$ tree data
data
├── current
│   ├── BP-441758184-192.168.59.103-1417330891399
│   │   ├── current
│   │   │   ├── finalized
│   │   │   ├── rbw
│   │   │   └── VERSION
│   │   ├── dncp_block_verification.log.curr
│   │   └── tmp
│   └── VERSION
└── in_use.lock

執(zhí)行put命令之后，可以看到一個文件在data中是如何存儲的。如下：

  1. $ hadoop fs -put etc/hadoop/core-site.xml /data/input
[hadoop@namenode hadoop]$ tree data
data
├── current
│   ├── BP-441758184-192.168.59.103-1417330891399
│   │   ├── current
│   │   │   ├── finalized
│   │   │   │   ├── blk_1073741827
│   │   │   │   └── blk_1073741827_1003.meta
│   │   │   ├── rbw
│   │   │   │   ├── blk_1073741825
│   │   │   │   ├── blk_1073741825_1001.meta
│   │   │   │   ├── blk_1073741826
│   │   │   │   └── blk_1073741826_1002.meta
│   │   │   └── VERSION
│   │   ├── dncp_block_verification.log.curr
│   │   ├── dncp_block_verification.log.prev
│   │   └── tmp
│   └── VERSION
└── in_use.lock

以上是“HDFS怎么安裝”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞名稱：HDFS怎么安裝
分享URL：http://jinyejixie.com/article24/ppisje.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供域名注冊、、品牌網站制作、面包屑導航、搜索引擎優(yōu)化、電子商務

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

h5響應式網站建設
抚顺市| 汉源县| 朝阳市| 丰宁| 图们市| 康乐县| 台东市| 伊吾县| 收藏| 长顺县| 石阡县| 宣城市| 苏州市| 石屏县| 咸阳市| 江阴市| 迭部县| 涟水县| 虞城县| 商都县| 正阳县| 乌恰县| 广平县| 青岛市| 南充市| 墨江| 尚义县| 潮安县| 博客| 鹤岗市| 界首市| 平原县| 芦山县| 海口市| 蕉岭县| 大悟县| 穆棱市| 平泉县| 宜宾市| 益阳市| 湘阴县|