hadoop集群搭建在阿里云服務器上 云服務器配置要求是多少

如果是集群的話，我考慮需要流暢運行的話，2核4G配置是可以滿足的。因為這個集群形式，用于適用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、監(jiān)控、安全風控、即時通訊、消息存儲等行業(yè)場景，所以數(shù)據(jù)量是比較大的，所以配置太低了跑不動，會卡死的。

成都創(chuàng)新互聯(lián)公司專注于企業(yè)網(wǎng)絡營銷推廣、網(wǎng)站重做改版、郎溪網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、HTML5建站、商城網(wǎng)站制作、集團公司官網(wǎng)建設、外貿營銷網(wǎng)站建設、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為郎溪等各大城市提供網(wǎng)站開發(fā)制作服務。

因為hadoop是海量數(shù)據(jù)的處理能力，所以服務器一定不能太小配置了，跑不動了就沒實際用途了。最好使用4核8G內存及以上配置。

因為這方面內容較多，這里也寫不開那么多內容，所以你可以留言或到我的博客上搜索相關內容，老魏有寫過教程，還不止一篇，都挺詳細的內容，可以幫助你入門。

阿里云云服務器linux可以部署hadoop么

通過命令行下載Hadoop ，我下載的版本是1.2.1，版本穩(wěn)定且方便學習。

[plain] view plain copy

wget

下載完成后，將hadoop安裝包轉移至要安裝的目錄

[plain] view plain copy

mv hadoop-1.2.1.tar.gz /usr/hadoop/

cd /usr/hadoop/

解壓

[plain] view plain copy

tar -zxvf hadoop-1.2.1.tar.gz

配置Hadoop

配置文件在 hadoop的conf文件夾下

首先修改 hadoop-env.sh 文件

[plain] view plain copy

vim hadoop-env.sh

找到 # export JAVA_HOME=…..

修改為 export JAVA_HOME=/usr/Java/java8

注意 // 如果忘記java的路徑，可以通過命令 echo $JAVA_HOME查看

其次修改 core-site.xml 文件

其實 修改 hadoop-env.sh

[plain] view plain copy

vim hadoop-env.sh

修改內容為

[html] view plain copy

configuration

property

namehadoop.tmp.dir/name

value/hadoop/value

/property

property

namedfs.name.dir/name

value/hadoop/name/value

/property

property

namefs.default.name/name

valuehdfs://canghong:9000/value

/property

/configuration

然后修改 hdfs-site.xml

[html] view plain copy

configuration

property

namedfs.data.dir/name

value/hadoop/data/value

/property

/configuration

最后修改 mapred-site.xml

[html] view plain copy

configuration

property

namemapred.job.tracker/name

valuecanghong:9001/value

/property

/configuration

配置完成后，告訴系統(tǒng)hadoop的安裝目錄

[plain] view plain copy

vim ~/.bashrc

export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1

在 export PATH 中 加入 HADOOP_HOME

export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH

測試

在命令行輸入 hadoop

出現(xiàn)

10015 JobTracker

9670 TaskTracker

9485 DataNode

10380 Jps

9574 SecondaryNameNode

9843 NameNode

則表示成功

格式化文件系統(tǒng)

[plain] view plain copy

cd /usr/hadoop/hadoop-1.2.1/bin

hadoop namenode -formate

啟動

啟動 bin下的 start-all.sh

start-all.sh

測試

在命令行 輸入 jps 查看hadoop是否正常運行

如何安裝 hadoop 阿里云

按照小鳥云計算官方工程師給出的步驟：

集群安裝配置Hadoop

集群節(jié)點：node4、node5、node6、node7、node8。

操作系統(tǒng)為：CentOS release 5.5 (Final)

安裝步驟

一、創(chuàng)建Hadoop用戶組。

二、安裝JDK。下載安裝jdk。安裝目錄如下：

三、修改機器名，修改文件/etc/hosts。如下：

四、安裝ssh服務。命令：yum install openssh-server。

五、建立ssh無密碼登陸。

當前標題：阿里云服務器搭建Hadoop環(huán)境 阿里云服務器搭建hadoop環(huán)境怎么樣
本文地址：http://jinyejixie.com/article22/ddieojc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、服務器托管、移動網(wǎng)站建設、企業(yè)建站、微信公眾號、電子商務

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)