這篇文章主要講解了“kubernetes中搭建spark集群的方式”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“kubernetes中搭建spark集群的方式”吧！

在成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作過(guò)程中，需要針對(duì)客戶的行業(yè)特點(diǎn)、產(chǎn)品特性、目標(biāo)受眾和市場(chǎng)情況進(jìn)行定位分析，以確定網(wǎng)站的風(fēng)格、色彩、版式、交互等方面的設(shè)計(jì)方向。創(chuàng)新互聯(lián)建站還需要根據(jù)客戶的需求進(jìn)行功能模塊的開(kāi)發(fā)和設(shè)計(jì)，包括內(nèi)容管理、前臺(tái)展示、用戶權(quán)限管理、數(shù)據(jù)統(tǒng)計(jì)和安全保護(hù)等功能。

• 適用場(chǎng)景：linux系統(tǒng)，已經(jīng)搭建好kubernetes1.4及以上的集群，沒(méi)有配置CA等認(rèn)證,已經(jīng)搭建DNS,其它情景僅作參考。

• 如果還沒(méi)有搭建DNS,請(qǐng)參考kubernetes中部署DNS搭建。

• 相關(guān)的yaml文件已經(jīng)上傳到本人的github，需要用到的國(guó)外鏡像也一并被我替換成了阿里云鏡像，可直接下載使用

上節(jié)kubernetes中搭建spark集群 (一)說(shuō)到spark mater和worker節(jié)點(diǎn)的ui都是單獨(dú)的，沒(méi)法在一個(gè)UI里實(shí)現(xiàn)查看，點(diǎn)擊worker UI里的==back to master==也是返回不了master的UI的。并且此時(shí)集群外也無(wú)法訪問(wèn)我們的spark集群，這篇文章將重點(diǎn)介紹如何合并這些UI。

解決多UI合并和對(duì)外開(kāi)放問(wèn)題

這里以我集群中已經(jīng)啟動(dòng)的spark集群為例

如下圖所示，外部沒(méi)法正常訪問(wèn)集群中的spark集群，而且每個(gè)spark節(jié)點(diǎn)都有自己的UI用戶界面,沒(méi)法實(shí)現(xiàn)一個(gè)端口訪問(wèn)所有的UI

針對(duì)這一情況，這里使用一個(gè)代理來(lái)實(shí)現(xiàn)合并，通過(guò)一個(gè)Python腳本創(chuàng)建了一個(gè)輕量級(jí)的HTTP服務(wù)器，它將所有的請(qǐng)求代理給你的Spark Master和Spark Workers。所有你需要做的是創(chuàng)建一個(gè)單一的SSH通道到這個(gè)代理，代理將轉(zhuǎn)發(fā)所有的請(qǐng)求到相應(yīng)的節(jié)點(diǎn)上。

具體的實(shí)現(xiàn)過(guò)程如下：

1.創(chuàng)建代理POD

a.文件spark-ui-proxy-controller.yaml內(nèi)容

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-ui-proxy-controller
spec:
  replicas: 1
  selector:
    component: spark-ui-proxy
  template:
    metadata:
      labels:
        component: spark-ui-proxy
    spec:
      containers:
        - name: spark-ui-proxy
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark-ui-proxy:1.0
          ports:
            - containerPort: 80
          resources:
            requests:
              cpu: 100m
          args:
            - spark-master:8080
          livenessProbe:
              httpGet:
                path: /
                port: 80
              initialDelaySeconds: 120
              timeoutSeconds: 5

• 其中相關(guān)鏡像已替換成阿里云鏡像，可以直接下載使用。

b.創(chuàng)建RC

$ kubectl create -f spark-ui-proxy-controller.yaml

c.查看驗(yàn)證

$ kubectl get pods |grep spark-ui
spark-ui-proxy-controller-gkx2v   1/1       Running            0          5h

• 已經(jīng)running！

d.創(chuàng)建services

文件spark-ui-proxy-service.yaml 內(nèi)容：

kind: Service
apiVersion: v1
metadata:
  name: spark-ui-proxy
spec:
  type: NodePort
  ports:
    - port: 80
      targetPort: 80
      nodePort: 8082
  selector:
    component: spark-ui-proxy

• 這里我將端口映射到了主機(jī)的8082端口，這樣外部就可以通過(guò)該端口訪問(wèn)spark集群的工作界面了。

• 創(chuàng)建

$ kubectl create -f spark-ui-proxy-service.yaml

e.查看驗(yàn)證

$ kubectl get svc |grep spark-ui
spark-ui-proxy   192.168.3.158   <nodes>       80:8082/TCP         4h

可以看出集群給services分配了一個(gè)192.168.3.158的集群IP,那么在集群內(nèi)就可以通過(guò)這個(gè)Ip+port來(lái)訪問(wèn)spark集群的用戶界面了。

實(shí)際搭建驗(yàn)證

a.集群外部通過(guò)暴露的端口進(jìn)行訪問(wèn)，

這里我的主機(jī)IP為192.168.122.10,,,從ui-proxy映射的端口為8082,則訪問(wèn)http://192.168.122.10:8082

• 點(diǎn)擊master中的任意worker節(jié)點(diǎn)均可跳轉(zhuǎn)到相應(yīng)的worker節(jié)點(diǎn)的Ui,并且點(diǎn)擊worker中的==back to master==也能成功跳轉(zhuǎn)到master

b.集群內(nèi)部訪問(wèn)

集群內(nèi)通過(guò)主機(jī)的Ip+映射的port也能直接訪問(wèn)，或通過(guò)ui-proxy-service的IP(192.168.3.158)+port也能實(shí)現(xiàn)正常訪問(wèn)，

• 未完待續(xù)！

感謝各位的閱讀，以上就是“kubernetes中搭建spark集群的方式”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)kubernetes中搭建spark集群的方式這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

本文名稱：kubernetes中搭建spark集群的方式
URL網(wǎng)址：http://jinyejixie.com/article22/ghhejc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、服務(wù)器托管、自適應(yīng)網(wǎng)站、響應(yīng)式網(wǎng)站、、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)