DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶。

基于插拔式的集成框架設(shè)計(jì)，及計(jì)算中間件 Linkis ，可輕松接入上層各種數(shù)據(jù)應(yīng)用系統(tǒng)，讓數(shù)據(jù)開發(fā)變得簡潔又易用。

在統(tǒng)一的UI下，DataSphere Studio以工作流式的圖形化拖拽開發(fā)體驗(yàn)，將滿足從數(shù)據(jù)交換、脫敏清洗、分析挖掘、質(zhì)量檢測、可視化展現(xiàn)、定時(shí)調(diào)度到數(shù)據(jù)輸出應(yīng)用等，數(shù)據(jù)應(yīng)用開發(fā)全流程場景需求。

DSS通過插拔式的集成框架設(shè)計(jì)，讓用戶可以根據(jù)需要，簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

借助于 Linkis 計(jì)算中間件的連接、復(fù)用與簡化能力，DSS天生便具備了金融級高并發(fā)、高可用、多租戶隔離和資源管控等執(zhí)行與調(diào)度能力。

但是，官方的安裝文檔略簡單，一些配置細(xì)節(jié)為了簡化安裝沒有介紹。導(dǎo)致安裝阻攔了部分不同環(huán)境用戶。為此，本人將我的安裝過程整理出來，供大家參考。

1 概述

2 基于Ambari集群配置獨(dú)立client機(jī)

2.1 大數(shù)據(jù)集群環(huán)境

2.2 DataSphere Studio專用client機(jī)配置

2.2.1 基礎(chǔ)配置說明

2.2.2 hosts和hostname

2.2.3 配置主機(jī)到client的免密碼登錄

2.3 Ambari集群中增加DataSphere Studio專用Client

2.3.1 指定主機(jī)

2.3.2 確認(rèn)要登記的主機(jī)

2.3.3 指定在client上安裝的組件

2.3.4 指定配置組

2.3.5 審查配置

2.3.6 安裝、啟動(dòng)、測試

2.3.7 完成

2.4 客戶機(jī)上安裝的組件位置及配置文件位置

3 安裝DataSphere Studio

3.1 安裝包

3.2 依賴項(xiàng)安裝

3.3 Yum安裝nginx

3.4 撤銷cp/mv/rm別名

3.5 修改配置

3.5.1 配置文件示例

3.6 修改數(shù)據(jù)庫配置

3.6.1 創(chuàng)建數(shù)據(jù)庫

3.6.2 配置

3.7 執(zhí)行安裝腳本

3.7.1 安裝步驟

3.7.2 驗(yàn)證安裝是否成功

3.8 訪問地址

3.9 FAQ

4 啟動(dòng)服務(wù)

4.1 啟動(dòng)服務(wù)

4.2 查看是否啟動(dòng)成功

5 坑

5.1 提交上傳資源任務(wù)失敗

5.2 有的服務(wù)顯示已經(jīng)在運(yùn)行

5.3 啟動(dòng)linkis失敗

5.4 上傳資源失敗

5.4.1 hdfs中tmp/linkis的owner是root:hdfs

6 附錄

已經(jīng)基于Ambari 2.7.4部署了四節(jié)點(diǎn)的大數(shù)據(jù)集群。各節(jié)點(diǎn)上安裝的組件由ambari自動(dòng)配置，沒有手動(dòng)配置。

在dn1節(jié)點(diǎn)上安裝了MySQL5.7社區(qū)版，大數(shù)據(jù)組件的元數(shù)據(jù)均存儲(chǔ)在dn1節(jié)點(diǎn)的mysql數(shù)據(jù)庫內(nèi)。

四個(gè)節(jié)點(diǎn)如下：

centos7最小化安裝

自帶python2.7

卸載原有openJDK，換為oracle jdk 1.8

#yum -y install wget

16G內(nèi)存，4核心

#vi /etc/hosts

加入

IP地址 節(jié)點(diǎn)的FQDN域名

例如：

192.168.94.132 datastudio.sinobd

#vi hostname

加入節(jié)點(diǎn)的FQDN名稱

例如

datastudio.sinobd

重啟生效

在ambari控制臺(tái)菜單，點(diǎn)擊下方的hosts菜單，

輸入主機(jī)名

將master機(jī)的id_rsa文件上傳

cat .ssh/id_rsa復(fù)制有時(shí)出錯(cuò)

私鑰配置正確，客戶機(jī)就不必安裝agent

如果不使用私鑰，也可以在節(jié)點(diǎn)上手動(dòng)安裝ambari agent并啟動(dòng)，出現(xiàn)如下提示框：

默認(rèn)只安裝全部client

ambari在客戶機(jī)上安裝的組件，都在

/usr/hdp/current文件夾內(nèi)

配置文件

/etc/下對應(yīng)的組件文件夾內(nèi)，但實(shí)際都是到/usr/hdp/current下對應(yīng)組件配置文件的軟鏈接。

知道這些文件的位置，對于后面配置

HADOOP_HOME、HIVE_HOME、SPARK_HOME以及查找配置文件時(shí)有幫助。

采用DSS & Linkis全家桶一鍵部署安裝包(1.3GB)（公眾號(hào)回復(fù)：全家桶安裝包）

centos默認(rèn)在.bashrc中給cp/mv/rm設(shè)置了別名，導(dǎo)致安裝過程出現(xiàn)很多cp 命令提示是否覆蓋安裝。輸入alias，如果有cp、mv、rm的別名，則應(yīng)該去掉，以避免大量提示。方法是：

#vi ~/.bashrc       

將conf目錄下的config.sh.standard.template，修改為config.sh

    cp conf/config.sh.standard.template conf/config.sh

您可以按需修改相關(guān)配置參數(shù)：

    vi conf/config.sh  

參數(shù)說明如下：

在主機(jī)上

#mysql –uroot –pMysql12#create database linkis;GRANT ALL PRIVILEGES ON linkis.* TO linkis@'%' IDENTIFIED BY 'sinosoft1234' WITH GRANT OPTION;

注意：安裝腳本有兩處是相對路徑，為了正確安裝，所以不要進(jìn)入bin目錄執(zhí)行腳本。

·         install.sh腳本會(huì)詢問您安裝模式。安裝模式分為精簡版、標(biāo)準(zhǔn)版，請根據(jù)您準(zhǔn)備的環(huán)境情況，選擇合適的安裝模式。本文檔采用2標(biāo)準(zhǔn)版

·         install.sh腳本會(huì)詢問您是否需要初始化數(shù)據(jù)庫并導(dǎo)入元數(shù)據(jù)，linkis和dss 均會(huì)詢問。

第一次安裝必須選：是。

通過查看控制臺(tái)打印的日志信息查看是否安裝成功。

如果有錯(cuò)誤信息，可以查看具體報(bào)錯(cuò)原因。

DSS web訪問端口：8088

Linkis gateway 的地址：http://127.0.0.1:9001

DSS web 靜態(tài)文件地址：/dss_linkis/web/dist

DSS web 安裝路徑：/dss_linkis/web

DSS nginx ip：127.0.0.1

您也可以通過查看我們的安裝常見問題（公眾號(hào)回復(fù)：安裝常見問題），獲取問題的解答。

  在安裝目錄執(zhí)行以下命令，啟動(dòng)所有服務(wù)：

如果啟動(dòng)產(chǎn)生了錯(cuò)誤信息，可以查看具體報(bào)錯(cuò)原因。啟動(dòng)后，各項(xiàng)微服務(wù)都會(huì)進(jìn)行通信檢測，如果有異常則可以幫助用戶定位異常日志和原因。

您可以通過查看我們的啟動(dòng)常見問題（公眾號(hào)回復(fù)啟動(dòng)常見問題），獲取問題的解答。

提示：

可以延長linkis和dss這兩個(gè)項(xiàng)目 bin 目錄下的 start-all.sh中sleep的時(shí)間，例如都延長為20秒。

也可以運(yùn)行sh bin/start-all.sh，直接在控制臺(tái)上看到服務(wù)啟動(dòng)情況

第一個(gè)啟動(dòng)的服務(wù)是Eureka，它啟動(dòng)后，就可以在Eureka(http://IP地址:20303/)界面查看 Linkis & DSS 后臺(tái)各微服務(wù)的啟動(dòng)情況。如下圖，如Eureka主頁出現(xiàn)以下微服務(wù)，則表示服務(wù)都啟動(dòng)成功，可以正常對外提供服務(wù)了：

#sh bin/stop-all.sh

sudo -u hdfs hadoop fs -chown -R hadoop:hadoop  /tmp/linkis