Cloudera manage（離線）安裝手冊

10年積累的網(wǎng)站設(shè)計制作、做網(wǎng)站經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有八公山免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

（按步驟操作）

1.      準(zhǔn)備工作

1.1.   系統(tǒng)環(huán)境

硬件設(shè)備：vm虛擬機

網(wǎng)絡(luò)組成：

                   192.168.210.131master

                   192.168.210.132slave1

                   192.168.210.134slave2

                   192.168.210.133slave3

操作系統(tǒng)：Linux version 2.6.32-220.el6.x86_64

1.2.   安裝JDK

從官方網(wǎng)站上下載rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具體情況未經(jīng)測試），執(zhí)行命令：

rpm -ivh jdk-7u79-linux-x64.rpm

由于是rpm包并不需要我們來配置環(huán)境變量，我們只需要配置一個全局的JAVA_HOME變量即可，執(zhí)行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile.d/java.sh

執(zhí)行命令，查看Jdk是否安裝正確

java -version

javac -version

1.3.   修改主機名

修改/etc/sysconfig/network文件：

NETWORKING=yes

HOSTNAME=master

NETWORKING_IPV6=no

其中HOSTNAME與主機名一致。

主機名如果跟系統(tǒng)安裝時不一致請執(zhí)行hostname命令讓其立即生效，否則會影響各節(jié)點互相訪問，命令如下：

hostnamemaster

 

修改/etc/hosts文件，添加：

192.168.1.101master

192.168.1.102slave1

192.168.1.103slave2

192.168.1.104slave3

 

重新啟動網(wǎng)絡(luò)服務(wù)，執(zhí)行命令：

servicenetwork restart

1.4.   關(guān)閉防火墻

防火墻會引起hadoop相關(guān)組件通訊的各種異常。防火墻：

serviceiptables stop (臨時關(guān)閉)

chkconfigiptables off (重啟后生效)

設(shè)置SELINUX：

setenforce0 (臨時生效)

修改/etc/selinux/config 下的 SELINUX=disabled （重啟后生效）

查看防火墻狀態(tài)：service iptables status

1.5.   修改wap交換空間

臨時生效：

sudo sysctl vm.swappiness=0

修改配置文件/etc/sysctl.conf重啟后仍然生效：

echo"vm.swappiness=0">>/etc/sysctl.conf

1.6.   SSH無密鑰驗證

所有節(jié)點均執(zhí)行如下命令，遇到提示一路回車即可：

ssh-keygen-t rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys_$hostname

scp各數(shù)據(jù)節(jié)點文件authorized_keys到主節(jié)點：

scp ~/.ssh/authorized_keyshadoop@master:~/.ssh/

合并各節(jié)點文件authorized_keys_$hostname到文件authorized_keys：

cat~/.ssh/authorized_keys_$hostname >>authorized_keys

master主機分發(fā)合并后的authorized_keys所有節(jié)點主機：

scp ~/.ssh/authorized_keyshadoop@slave1:~/.ssh/

然后輸入密碼即可，以后再到其他機器就不需要密碼額。

 

如果ssh登陸時，等待輸入密碼時間較長，可以通過修改以下配置文件：

修改 /etc/ssh/sshd_config配置項UseDNS，設(shè)置為no，重啟sshd服務(wù)：servicesshd restart

修改 /etc/ssh/ssh_conf配置項GSSAPIAuthentication ，設(shè)置為no；

 

在多臺主機做ssh互信時，可以使用sshpass工具提高效率，具體操作如下：

1、 安裝sshpass工具

2、 在所有主機執(zhí)行命令：sshpass-p 123456 ssh root@bigdata-2 "ssh-keygen -t rsa"

3、 合并所有主機的公鑰:

sshpass -p 123456 ssh root@bigdata-2 "cat/root/.ssh/id_rsa.pub"

>>/root/.ssh/authorized_keys

4、分發(fā)公鑰文件至各個主機；

1.7.   檢查時區(qū)

查看當(dāng)前時區(qū)：date -R

修改時區(qū)為上海：ln -sf /usr/share/zoneinfo/posix/Asia/Shanghai /etc/localtime

1.8.   關(guān)閉大頁面配置項：

執(zhí)行命令：echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此設(shè)置，然后將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統(tǒng)重啟時予以設(shè)置，

vi /etc/rc.local 增加配置

echo never > /sys/kernel/mm/transparent_hugepage/defrag

1.9.   修改允許打開文件數(shù)

修改文件：/etc/rc.local ，新增如下配置內(nèi)容：

ulimit -SHn 65535

1.10.      安裝NTP服務(wù)

客戶端修改ntp配置文件：/etc/ntp.conf，新增ntp服務(wù)器配置:

server 192.168.10.188

啟動本機ntp服務(wù)：service ntpd start

手工同步ntp：ntpdate -u 192.168.10.188

查看ntp同步狀態(tài)：watch ntpq -p

1.11.      安裝MySQL數(shù)據(jù)庫

檢查安裝環(huán)境

查找以前是否裝有mysql，命令：

rpm -qa|grep -i mysql

可以看到mysql的兩個包：

mysql-4.1.12-3.RHEL4.1

mysqlclient10-3.23.58-4.RHEL4.1

刪除mysql

刪除命令：rpm -e --nodeps 包名

( rpm -ev mysql-4.1.12-3.RHEL4.1 )

刪除老版本mysql的開發(fā)頭文件和庫

rm -fr /usr/lib/mysql

rm -fr /usr/include/mysql

注意：卸載后/var/lib/mysql中的數(shù)據(jù)及/etc/my.cnf不會刪除，如果確定沒用后就手工刪除

rm -f /etc/my.cnf

rm -fr /var/lib/mysql

 

安裝server端

下載mysql安裝包，并執(zhí)行安裝命令：

rpm-ivh MySQL-server-5.6.24-1.el6.x86_64.rpm（安裝包名稱）

 

root用戶初始密碼存儲位置為：

ARANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !

Youwill find that password in '/root/.mysql_secret'.

可以使用以上密碼登陸，然后修改為所需要的密碼。

安裝客戶端

下載mysql客戶端，執(zhí)行命令安裝：

rpm-ivh  MySQL-client-5.6.24-1.el6.x86_64.rpm

1.12.      配置mysql數(shù)據(jù)庫

啟動mysql數(shù)據(jù)庫

servicemysql start

修改初始密碼：

修改MySQL數(shù)據(jù)庫root用戶的初始密碼，先查下初始密碼

cat/root/.mysql_secret

使用初始密碼登陸mysql數(shù)據(jù)庫，登陸命令為：

mysql -uroot –p

執(zhí)行如下命令修改數(shù)據(jù)庫root用戶密碼：

setpassword=password('123456');

刷新權(quán)限表：

flushprivileges;

 

測試使用新密碼進(jìn)行登陸。。。。。。。。。。。。。

2.      安裝CM

1. 1.    

2. 2.    

3. 2.1.   下載安裝包

下載地址http://archive-primary.cloudera.com/cm5/cm/5/，根據(jù)自己的系統(tǒng)選擇相應(yīng)的版本，本次安裝選用的是cloudera-manager-el6-cm5.7.1_x86_64.tar.gz。下載完成后只上傳到master節(jié)點即可。然后解壓到/opt目錄下，不能解壓到其他地方，因為cdh6的源會默認(rèn)在/opt/cloudera/parcel-repo尋找，怎么制作cdh6的本地源文件會在之后介紹。

2.2.   安裝CM

給所有節(jié)點添加cloudera-scm用戶：

useradd--system --home=/opt/cm-5.7.1/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini下面的server_host

#Hostname of the CM server.

server_host=master

 

上傳mysql驅(qū)動包mysql-connector-java-5.1.26-bin.jar到/opt/cm-5.7.1/share/cmf/lib/目錄：

cp/root/data/mysql-connector-java-5.1.26-bin.jar /opt/cm-5.7.1/share/cmf/lib/

為Cloudera Manager 5建立數(shù)據(jù)庫：

/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

 

格式是:scm_prepare_database.sh數(shù)據(jù)庫類型  數(shù)據(jù)庫服務(wù)器用戶名密碼 –scm-host  Cloudera_Manager_Server所在的機器，后面那三個不知道代表什么，直接照抄官網(wǎng)的了。

 

開啟ClouderaManager 5 Server端：

/opt/cm-5.7.1/etc/init.d/cloudera-scm-serverrestart

注意server首次啟動不要立即關(guān)閉或重啟，因為首次啟動會自動創(chuàng)建相關(guān)表以及數(shù)據(jù)，如果因為特殊原因中途退出，請先刪除所有表以及數(shù)據(jù)之后再次啟動，否則將會出現(xiàn)啟動不成功的情況。 

 

開啟ClouderaManager 5 Agents端：

先scp/opt/cm-5.7.1到所有datanode節(jié)點上，然后在每臺機器上開啟Agents端：

scp-r  /opt/cm-5.7.1 root@slave1:/opt/cm-5.7.1

等待拷貝成功，在所有datanode節(jié)點上啟動：（注意必須以管理員權(quán)限啟動）

/opt/cm-5.7.1/etc/init.d/cloudera-scm-agentrestart

瀏覽器啟動ClouderaManager 5控制臺（默認(rèn)端口號是7180），啟動成功就會看到登陸頁面。

2.3.   添加Service Monitor服務(wù)

直接在cm管理頁面添加service組件即可；

 

3.      安裝CDH

1. 3.    

2. 3.1.   下載CDH版本

下載CDH版本到本地http://archive-primary.cloudera.com/cdh6/parcels/5.0.0/，需要下載兩樣?xùn)|西：

1、與操作系統(tǒng)版本相對應(yīng)的parcel包

2、 manifest.json文件。

3.2.   安裝CDH

本地源制作

下載完成后將這兩個文件放到master節(jié)點的/opt/cloudera/parcel-repo下（目錄在安裝Cloudera Manager 5時已經(jīng)生成）；打開manifest.json文件，里面是json格式的配置，找到與我們系統(tǒng)版本相對應(yīng)的hash碼，因為我們用的是redhat6.4，所以找到如下位置：
                           

在這個大括號的最下面找到“hash”所對應(yīng)的值。

 

將“hash”的值復(fù)制下來，然后創(chuàng)建一個文件，文件名與你的parel包名一致，并加上.sha后綴：

此時安裝目錄下有3個文件，將“hash”的值復(fù)制到新建的sha文件中，并保存，然后重啟cm server；

CDH安裝

打開http://192.168.1.101:7180，登陸控制臺，默認(rèn)賬戶和密碼都是admin，安裝時選擇免費版，之后由于cm5對中文的支持很強大，按照提示安裝即可，如果系統(tǒng)配置有什么問題在安裝過程中會有提示，根據(jù)提示給系統(tǒng)安裝組件就可以了。

如果在安裝時選擇了安裝Hive，可能會遇到安裝失敗的問題，查看一下日志發(fā)現(xiàn)時安裝Hive時需要安裝JDBC驅(qū)動，所以同樣我們將Mysql的驅(qū)動包拷貝到/opt/cloudera/parcels/CDH-5.7.1-1.cdh6.7.1.p0.6/lib/hive/lib目錄下，之后再繼續(xù)安裝就不會遇到問題了。

3.3.   配置HA

配置HDFS及YARN 高可用

分別進(jìn)入HDFS、YARN服務(wù)管理頁面，選擇ACTION（操作），點擊啟用HA，按照步驟操作即可；

4.      常見問題處理

1、 安裝hive、Impala等組件時，需要mysql源數(shù)據(jù)支持，需要新建數(shù)據(jù)庫并進(jìn)行賦權(quán)操作，詳細(xì)操作如下：

--創(chuàng)建數(shù)據(jù)庫

createdatabase cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

createdatabase hive   DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;    

createdatabase smon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;   

createdatabase hmon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

createdatabase hiverep DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--數(shù)據(jù)庫授權(quán)

grantall on *.* to root@"%" Identified by "123456";

 

2、 Hive或者impala表注釋中文亂碼解決方法：

alter table COLUMNS_V2 modify column COMMENT varchar(256) characterset utf8; 

alter table TABLE_PARAMSmodify column PARAM_VALUE varchar(4000) character set utf8;

5.      CDH服務(wù)端口列表

組件	端口號	端口用途	是否會被外部訪問
CM	7180	CM管理端口	是
Cloudera Management Service	8087	Activity Monitor Web UI端口	否
	9999	Activity Monitor偵聽端口	否
	9998	Activity Monitor噴嘴端口	否
	10101	警報：偵聽端口	否
	7184	事件發(fā)布端口	否
	7185	事件查詢端口	否
	8084	Event Server Web UI端口	否
	8091	Host Monitor Web UI端口	否
	9995	Host Monitor偵聽端口	否
	9994	Host Monitor噴嘴端口	否
	7186	Navigator審核服務(wù)器端口	否
	8089	Navigator Audit Server Web UI端	否
	7187	Navigator Metadata Server端口	否
	5678	Reports Manager服務(wù)器端口	否
	8083	Reports Manager Web UI端口	否
	8086	Service Monitor Web UI端口	否
	9997	Service Monitor偵聽端口	否
	9996	Service Monitor噴嘴端口	否
zookeeper	2181	客戶端端口	是
	3181	仲裁端口	否
	4181	選舉端口	否
	9010	JMX遠(yuǎn)程端口	是
yarn	10020	MapReduce JobHistory Server端口	否
	19888	MapReduce JobHistory Web應(yīng)用程序 HTTP 端口	是
	19890	MapReduce JobHistory Web應(yīng)用程序 HTTPS 端口 (TLS/SSL)	否
	10033	MapReduce JobHistory Server管理接口端口	否
	8042	NodeManager Web應(yīng)用程序 HTTP 端口	否
	8044	NodeManager Web應(yīng)用程序 HTTPS 端口 (TLS/SSL)	否
	8041	NodeManager IPC地址	否
	8040	Localizer端口	否
	8032	ResourceManager地址	否
	8030	調(diào)度程序地址	否
	8031	資源追蹤器地址	否
	8033	管理地址	否
	8088	ResourceManager Web應(yīng)用程序 HTTP 端口	是
	8090	ResourceManager Web應(yīng)用程序 HTTPS 端口 (TLS/SSL)	否
Kafka	9092	TCP Port	是
	9393	JMX Port	是
	9394		是
	9093	TLS/SSL Port	否
	24042	HTTP Metric Report Port	否
Hive	9083	Hive Metastore服務(wù)器端口	否
	10000	HiveServer2端口	否
	10002	HiveServer2 WebUI Port	是
	50111	WebHCat Server端口	否
HDFS	50020	DataNode協(xié)議端口	否
	50010	DataNode收發(fā)器端口	否
	50075	DataNode HTTP Web UI端口	是
	50475	安全 DataNode Web UI 端口 (TLS/SSL)	否
	14000	REST端口	否
	14001	管理端口	否
	8485	JournalNode RPC端口	否
	8480	JournalNode HTTP端口	否
	8481	安全 JournalNode Web UI 端口 (TLS/SSL)	是
	2049	NFS Gateway服務(wù)器端口	否
	4242	NFS Gateway MountD端口	否
	111	端口映射（或 Rpcbind）端口	否
	8020	NameNode端口	否
	8022	NameNode服務(wù) RPC 端口	否
	50070	NameNode Web UI端口	是
	50470	安全 NameNode Web UI 端口 (TLS/SSL)	是
	50090	SecondaryNameNode Web UI端口	是
	50495	安全 SecondaryNameNode  Web UI 端口 (TLS/SSL)	是
Hbase	20550	HBase REST服務(wù)器端口	否
	8085	HBase REST Server Web UI端口	否
	9090	HBase Thrift服務(wù)器端口	否
	9095	HBase Thrift服務(wù)器 Web UI 端口	否
	60000	HBase Master端口	否
	60010	HBase Master Web UI端口	是
	60020	HBase Region Server端口	是
	60030	HBase Region Server Web UI端口	是
spark	7337	Spark Shuffle Service Port	否
	18088	History Server WebUI Port	是
oozie	11000	Oozie HTTP端口	否
	11001	Oozie管理端口	是
	25	Oozie電子郵件操作 SMTP 端口	否
Solr	8983	Solr HTTP端口	是
	8984	Solr管理端口	是

6.      CDH開啟防火墻配置

整體方案：

集群內(nèi)部安全采用白名單方式，集群內(nèi)機器可以自由訪問彼此；針對接入外網(wǎng)的機器，使用端口過濾，主機默認(rèn)拒絕所有外面的訪問，針對特點端口進(jìn)行開放。具體操作如下：

修改防火墻配置文件：/etc/sysconfig/iptables

添加防火墻策略如下：

# Firewall configuration written by  system-config-firewall # Manual customization of this file is  not recommended. *filter :INPUT DROP [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0]   #白名單配置 -N whitelist -A whitelist -s 172.16.0.250 -j ACCEPT -A whitelist -s 172.16.0.78  -j ACCEPT -A whitelist -s 172.16.0.5   -j ACCEPT -A whitelist -s 172.16.0.168 -j ACCEPT -A whitelist -s 172.16.0.113 -j ACCEPT -A whitelist -s 172.16.0.133 -j ACCEPT   -A INPUT -m state --state  ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT   #開放ssh端口 -A INPUT -m state --state NEW -m tcp -p  tcp --dport 22 -j ACCEPT   #開放應(yīng)用服務(wù)端口 #cm -A INPUT -m state --state NEW -m tcp -p  tcp --dport 7180 -j ACCEPT   #zookeeper -A INPUT -m state --state NEW -m tcp -p  tcp --dport 2181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 9010 -j ACCEPT   #yarn -A INPUT -m state --state NEW -m tcp -p  tcp --dport 19888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 8088 -j ACCEPT   #Kafka -A INPUT -m state --state NEW -m tcp -p  tcp --dport 9092 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 9393 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 9394 -j ACCEPT   #hive -A INPUT -m state --state NEW -m tcp -p  tcp --dport 10002 -j ACCEPT   #hdfs -A INPUT -m state --state NEW -m tcp -p  tcp --dport 50075 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 8481 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 50070 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 50470 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 50090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 50495 -j ACCEPT   #hbase -A INPUT -m state --state NEW -m tcp -p  tcp --dport 60010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 60020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 60030 -j ACCEPT   #spark -A INPUT -m state --state NEW -m tcp -p  tcp --dport 18088 -j ACCEPT   #oozie -A INPUT -m state --state NEW -m tcp -p  tcp --dport 11001 -j ACCEPT   #Solr -A INPUT -m state --state NEW -m tcp -p  tcp --dport 8983 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p  tcp --dport 8984 -j ACCEPT   -A INPUT -m state --state NEW -m tcp -p  tcp -j whitelist -A INPUT -j REJECT --reject-with  icmp-host-prohibited -A FORWARD -j REJECT --reject-with  icmp-host-prohibited COMMIT

 

當(dāng)前文章：CDH5離線安裝手冊
網(wǎng)頁URL：http://jinyejixie.com/article26/jjihcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、建站公司、移動網(wǎng)站建設(shè)、網(wǎng)站排名、域名注冊、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)