這篇文章主要講解了“如何理解Kubernetns容器與VM的編排”,文中的講解內(nèi)容簡(jiǎn)單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來(lái)研究和學(xué)習(xí)“如何理解Kubernetns容器與VM的編排”吧!
成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司,成都做網(wǎng)站公司-創(chuàng)新互聯(lián)公司已向數(shù)千家企業(yè)提供了,網(wǎng)站設(shè)計(jì),網(wǎng)站制作,網(wǎng)絡(luò)營(yíng)銷等服務(wù)!設(shè)計(jì)與技術(shù)結(jié)合,多年網(wǎng)站推廣經(jīng)驗(yàn),合理的價(jià)格為您打造企業(yè)品質(zhì)網(wǎng)站。
我在開發(fā)集群中使用Ubuntu 20.04和兩個(gè)裸機(jī)服務(wù)器。盡管我在“第1步”中對(duì)如何創(chuàng)建類似的開發(fā)集群進(jìn)行了解釋,但是如果您已經(jīng)選擇了其他Kubernetes或OpenShift環(huán)境,則可以安全地跳過(guò)它。
要求:
至少一臺(tái)具有2個(gè)CPU,4GB Ram和20GB存儲(chǔ)空間的主機(jī)
kubectl命令行實(shí)用程序
SSH客戶端
步驟1:建立集群
在開始創(chuàng)建集群之前,讓我們對(duì)主機(jī)進(jìn)行初始化配置以適合Kubernetes。查看這個(gè)官方的教程(https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/)并準(zhǔn)備您的主機(jī)。
讓我們創(chuàng)建一個(gè)Kubernetes集群
sudo kubeadm init --pod-network-cidr=192.168.0.0/16
執(zhí)行以下命令來(lái)配置kubectl:
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
移除master上的污點(diǎn),以便您可以在其上調(diào)度pod。
kubectl taint nodes --all node-role.kubernetes.io/master-
它應(yīng)該返回以下內(nèi)容:
node/<your-hostname> untainted
步驟2:安裝Calico
使用清單安裝Calico
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
步驟3:安裝KubeVirt
使用namespace,我們可以將資源隔離到邏輯模塊中,并且可以更輕松地管理它們。
kubectl create namespace kubevirt
建議使用支持硬件虛擬化的主機(jī),以確保您的主機(jī)能夠使用virt-host-validate二進(jìn)制文件。
virt-host-validate qemu QEMU: Checking for hardware virtualization :PASS
如果主機(jī)缺少此命令,則可以使用發(fā)行版軟件包管理器進(jìn)行安裝,也可以使用來(lái)檢查kvm文件夾是否可用 ls /dev/kvm。
默認(rèn)情況下,KubeVirt嘗試?yán)糜布抡?。但是,此功能并非在所有環(huán)境中都可用,在這種情況下,您可以使用以下方式啟用軟件仿真:
kubectl create configmap -n kubevirt kubevirt-config \ --from-literal debug.useEmulation=true
應(yīng)用這些清單并運(yùn)行KubeVirt operator以自動(dòng)安裝所有必需的資源。
kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/v0.38.1/kubevirt-operator.yaml kubectl apply -f https://github.com/kubevirt/kubevirt/releases/download/v0.38.1/kubevirt-cr.yaml
啟用遷移功能。(該功能依賴于存儲(chǔ))
kubectl create configmap -n kubevirt kubevirt-config --from-literal feature-gates="LiveMigration"
啟用VNC代理功能組件。
kubectl apply -f kubevirt/vnc.yaml
您可以使用此命令檢查KubeVirt的安裝進(jìn)度。
kubectl -n kubevirt wait kv kubevirt --for condition=Available
首先,我們創(chuàng)建一個(gè)namespace來(lái)隔離此演示的資源。
kubectl create namespace kv-policy-demo
現(xiàn)在,使用虛擬機(jī)實(shí)例(VMI)定制資源,我們可以創(chuàng)建與Kubernetes完全集成的VM。
kubectl create -f - <<EOF apiVersion: kubevirt.io/v1alpha3 kind: VirtualMachineInstance metadata: name: vmi-cirros namespace: kv-policy-demo labels: special: l-vmi-cirros spec: domain: devices: disks: - disk: bus: virtio name: containerdisk resources: requests: memory: 64M volumes: - name: containerdisk containerDisk: image: kubevirt/cirros-registry-disk-demo:latest EOF
請(qǐng)注意,如果您使用的是軟件仿真,則啟動(dòng)虛擬機(jī)可能會(huì)非常慢,并且完成IP地址分配可能需要5到6分鐘的時(shí)間。
kubectl create -f - <<EOF apiVersion: v1 kind: Service metadata: name: vmi-cirros-ssh-svc namespace: kv-policy-demo spec: ports: - name: crrios-ssh-svc nodePort: 30000 port: 27017 protocol: TCP targetPort: 22 selector: special: l-vmi-cirros type: NodePort EOF
通過(guò)使用您節(jié)點(diǎn)的IP地址通過(guò)服務(wù)節(jié)點(diǎn)端口進(jìn)行訪問(wèn),確認(rèn)我們可以使用SSH訪問(wèn)VM 。默認(rèn)密碼是gocubsgo。
ssh cirros@10.1.2.3 -p 30000
通過(guò)從新的虛擬機(jī)ping google來(lái)確認(rèn)虛擬機(jī)可以訪問(wèn)外界。
ping www.google.com -c 5
步驟5:添加網(wǎng)絡(luò)安全性
應(yīng)用以下策略在其namespace中隔離VM。這將僅將允許入向?yàn)镾SH的協(xié)議,并且阻止所有出現(xiàn)的流量VM。(取決于您的VM,您將需要其他策略,但是此簡(jiǎn)單策略對(duì)本教程很有用。)
kubectl create -f - <<EOF apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: only-allow-ingress-ssh-to-vm namespace: kv-policy-demo spec: podSelector: matchLabels: special: l-vmi-cirros policyTypes: - Ingress - Egress ingress: - from: ports: - port: 22 EOF
SSH進(jìn)入虛擬機(jī),然后嘗試再次ping google。
您將無(wú)法執(zhí)行此操作,因?yàn)樵摬呗詫⒆柚顾袕腜od發(fā)起的與外界的通信。這非常強(qiáng)大–您可以使用與保護(hù)Pod相同的范例來(lái)保護(hù)VM!
步驟6:訪問(wèn)虛擬機(jī)
現(xiàn)在我們已經(jīng)為基于Kubernetes的VM管理設(shè)置了Kubevirt,現(xiàn)在讓我們?cè)L問(wèn)我們的VM。
使用NodePort服務(wù)和弱密碼在外部公開VM時(shí)要小心
串行控制臺(tái)僅可通過(guò)kubectl virt插件使用
SSH以root用戶身份登錄
通過(guò)virt:
SSH訪問(wèn):
kubectl virt expose vmi test-vm --port=22 --name=test-vm-ssh --type=NodePort
串行控制臺(tái):
virtctl console test-vm
不通過(guò)virt:
apiVersion: v1 kind: Service metadata: name: test-vm-ssh namespace: default spec: ports: - name: test-vm-ssh protocol: TCP port: 22 targetPort: 22 selector: kubevirt.io/name: test-vm type: NodePort
使用VNC:
如果尚未啟用VNC
kubectl apply -f kubevirt/vnc/vnc.yaml
查找VNC服務(wù)節(jié)點(diǎn)端口
在以下位置訪問(wèn)VM
http://NODE_IP:NODEPORT/?namespace=VM_NAMESPACE
僅顯示namespace VM_NAMESPACE下的VM。選擇所需虛擬機(jī)所在的namespace。
步驟7:測(cè)試CDI
在應(yīng)用之前,請(qǐng)確保填寫DataVolume/VM清單中的所有變量以適合您的環(huán)境
嘗試創(chuàng)建一個(gè)DataVolume
kubectl apply -f datavolume/datavolume-cirros.yaml kubectl apply -f datavolume/datavolume-ubuntu.yaml kubectl get datavolumes
在VM清單中即時(shí)使用DataVolume
kubectl apply -f vm/CDI-PVC.yaml
步驟8:清理
要清除本指南中使用的namespace和VM,可以運(yùn)行以下命令
kubectl delete namespace kv-policy-demo
其他:故障排除
確保Kubernetes有足夠的備用CPU/RAM來(lái)部署您請(qǐng)求的VM
確保硬件虛擬化受支持并且可用,或者ConfigMap中存在軟件虛擬化標(biāo)志
更改標(biāo)志需要重新啟動(dòng)部署
確保服務(wù)選擇器正確定位到VM Pod
檢查Docker MTU和CNI插件MTU是否適合您的網(wǎng)絡(luò)
使用kubectl virt console $VM_NAME_HERE以確保虛擬機(jī)已啟動(dòng)
部署Prometheus Operator
一旦準(zhǔn)備好了k8s集群,就是部署Prometheus Operator。原因是KubeVirt CR安裝在群集上時(shí)將檢測(cè)ServiceMonitor CR是否已存在。如果是這樣,那么它將創(chuàng)建ServiceMonitors,這些ServiceMonitors被配置為可立即監(jiān)控所有KubeVirt組件(virt-controller,virt-api和virt-handler)。
盡管本文中沒(méi)有介紹監(jiān)控KubeVirt本身,但是還是在部署KubeVirt之前先部署Prometheus Operator。
要部署Prometheus Operator,您需要首先創(chuàng)建其namespace,例如monitoring:
kubectl create ns monitoring
然后在新的namespace中部署operator:
helm fetch stable/prometheus-operator tar xzf prometheus-operator*.tgz cd prometheus-operator/ && helm install -n monitoring -f values.yaml kubevirt-prometheus stable/prometheus-operator
部署完所有內(nèi)容后,您可以刪除helm下載的所有內(nèi)容:
cd .. rm -rf prometheus-operator*
要記住的一件事是我們?cè)诖颂幪砑拥陌姹久Q:kubevirt-prometheus。ServiceMonitor稍后聲明我們時(shí)將使用版本名稱。
部署具有持久性存儲(chǔ)的VirtualMachine
現(xiàn)在,我們已經(jīng)準(zhǔn)備好所需要的一切。下面讓我們配置虛擬機(jī)。
我們將從CDI的DataVolume(https://github.com/kubevirt/containerized-data-importer/blob/master/doc/datavolumes.md)資源PersistenVolume開始。由于我沒(méi)有動(dòng)態(tài)存儲(chǔ)提供程序,因此我將創(chuàng)建2個(gè)PV,引用將聲明它們的PVC。注意每個(gè)PV的claimRef。
apiVersion: v1 kind: PersistentVolume metadata: name: example-volume spec: storageClassName: "" claimRef: namespace: default name: cirros-dv accessModes: - ReadWriteOnce capacity: storage: 2Gi hostPath: path: /data/example-volume/ --- apiVersion: v1 kind: PersistentVolume metadata: name: example-volume-scratch spec: storageClassName: "" claimRef: namespace: default name: cirros-dv-scratch accessModes: - ReadWriteOnce capacity: storage: 2Gi hostPath: path: /data/example-volume-scratch/
有了永久性存儲(chǔ)后,我們可以使用以下清單創(chuàng)建虛擬機(jī):
apiVersion: kubevirt.io/v1alpha3 kind: VirtualMachine metadata: name: monitorable-vm spec: running: true template: metadata: name: monitorable-vm labels: prometheus.kubevirt.io: "node-exporter" spec: domain: resources: requests: memory: 1024Mi devices: disks: - disk: bus: virtio name: my-data-volume volumes: - dataVolume: name: cirros-dv name: my-data-volume dataVolumeTemplates: - metadata: name: "cirros-dv" spec: source: http: url: "https://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img" pvc: storageClassName: "" accessModes: - ReadWriteOnce resources: requests: storage: "2Gi"
注意,KubeVirt的VirtualMachine資源有一個(gè)VirtualMachine模板和一個(gè)dataVolumeTemplate。在VirtualMachine模板上,重要的是要注意我們已將VM命名為VM monitorable-vm,以后將使用該名稱連接到其控制臺(tái)virtctl。我們添加的標(biāo)簽prometheus.kubevirt.io: "node-exporter"也很重要,因?yàn)樵赩M內(nèi)部安裝與配置node-exporter時(shí)將會(huì)使用到它。
在dataVolumeTemplate上,需要注意的是,我們將PVC命名為cirros-dv,DataVolume資源將用它創(chuàng)建2個(gè)PVC,cirros-dv和cirros-dv-scratch。注意,cirros-dv和cirros-dv-scratch是PersistentVolume清單上引用的名稱。名稱必須匹配才能工作。
在VM內(nèi)安裝node-exporter
一旦VirtualMachineInstance運(yùn)行,我們就可以使用virtctl console monitorable vm連接到它的控制臺(tái)。如果需要用戶和密碼,請(qǐng)?zhí)峁┫鄳?yīng)的憑據(jù)。如果您使用的是本指南中的同一磁盤映像,則用戶和密碼分別為cirros和gocubsgo
以下腳本將安裝node-exporter并將虛擬機(jī)配置為在啟動(dòng)時(shí)候自啟:
curl -LO -k https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz gunzip -c node_exporter-1.0.1.linux-amd64.tar.gz | tar xopf - ./node_exporter-1.0.1.linux-amd64/node_exporter & sudo /bin/sh -c 'cat > /etc/rc.local <<EOF #!/bin/sh echo "Starting up node_exporter at :9100!" /home/cirros/node_exporter-1.0.1.linux-amd64/node_exporter 2>&1 > /dev/null & EOF' sudo chmod +x /etc/rc.local
PS:如果您使用其他基礎(chǔ)映像,請(qǐng)配置node-exporter以在啟動(dòng)時(shí)相應(yīng)地啟動(dòng)
配置Prometheus抓取VM的node-exporter
配置Prometheus來(lái)抓取node-exporter非常簡(jiǎn)單。我們需要做的就是創(chuàng)建一個(gè)新的Service和一個(gè)ServiceMonitor:
apiVersion: v1 kind: Service metadata: name: monitorable-vm-node-exporter labels: prometheus.kubevirt.io: "node-exporter" spec: ports: - name: metrics port: 9100 targetPort: 9100 protocol: TCP selector: prometheus.kubevirt.io: "node-exporter" --- apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: kubevirt-node-exporters-servicemonitor namespace: monitoring labels: prometheus.kubevirt.io: "node-exporter" release: monitoring spec: namespaceSelector: any: true selector: matchLabels: prometheus.kubevirt.io: "node-exporter" endpoints: - port: metrics interval: 15s
讓我們分解一下,以確保我們正確設(shè)置了所有內(nèi)容。從Service開始:
spec: ports: - name: metrics port: 9100 targetPort: 9100 protocol: TCP selector: prometheus.kubevirt.io: "node-exporter"
在規(guī)范中,我們正在創(chuàng)建一個(gè)名為metrics的新端口,該端口將重定向到每個(gè)標(biāo)記為prometheus.kubevirt.io: "node-exporter",此處為端口9100,這是node_exporter的默認(rèn)端口號(hào)。
apiVersion: v1 kind: Service metadata: name: monitorable-vm-node-exporter labels: prometheus.kubevirt.io: "node-exporter"
我們還在為服務(wù)本身貼上標(biāo)簽prometheus.kubevirt.io: "node-exporter",將由ServiceMonitor對(duì)象使用?,F(xiàn)在讓我們看看我們的ServiceMonitor規(guī)范:
spec: namespaceSelector: any: true selector: matchLabels: prometheus.kubevirt.io: "node-exporter" endpoints: - port: metrics interval: 15s
由于我們的ServiceMonitor將部署在monitoring namespace中,而我們的服務(wù)則在default namespace中,因此我們需要設(shè)置namespaceSelector.any=true。
我們還告訴ServiceMonitor,Prometheus需要從標(biāo)記為prometheus.kubevirt.io: "node-exporter"以及哪些端口被命名為metrics。幸運(yùn)的是,我們的service就是這么做的!
最后一件要注意的事。Prometheus配置可以設(shè)置為監(jiān)視多個(gè)ServiceMonitors。我們可以通過(guò)以下命令查看prometheus正在監(jiān)視的服務(wù):
# Look for Service Monitor Selector kubectl describe -n monitoring prometheuses.monitoring.coreos.com monitoring-prometheus-oper-prometheus
確保我們的ServiceMonitor具有Prometheus的Service Monitor Selector的所有標(biāo)簽。一個(gè)常見的選擇器是我們?cè)诓渴餳elm的prometheus時(shí)設(shè)置的版本名稱!
您可以通過(guò)端口轉(zhuǎn)發(fā)Prometheus Web UI并執(zhí)行一些PromQL來(lái)進(jìn)行快速測(cè)試:
kubectl port-forward -n monitoring prometheus-monitoring-prometheus-oper-prometheus-0 9090:9090
為確保一切正常,請(qǐng)?jiān)L問(wèn)localhost:9090/graph并執(zhí)行PromQL up{pod=~"virt-launcher.*"}。Prometheus應(yīng)該返回從monitorable-vm的node-exporter收集的數(shù)據(jù)。
您可以試用virtctl,停止和啟動(dòng)VM,以查看指標(biāo)的行為。您會(huì)注意到,使用停止VM時(shí)virtctl stop monitorable-vm,VirtualMachineInstance被殺死,因此它也是Pod。這將導(dǎo)致我們的服務(wù)無(wú)法找到pod的端點(diǎn),然后將其從Prometheus的目標(biāo)中刪除。
由于這種行為,下面的告警規(guī)則將無(wú)法正常工作,因?yàn)槲覀兊哪繕?biāo)實(shí)際上已經(jīng)消失了,而不是降級(jí)了。
- alert: KubeVirtVMDown expr: up{pod=~"virt-launcher.*"} == 0 for: 1m labels: severity: warning annotations: summary: KubeVirt VM {{ $labels.pod }} is down.
但是,如果VM在不停止的情況下連續(xù)崩潰,則pod不會(huì)被殺死,并且仍將監(jiān)視目標(biāo)。node-exporter永遠(yuǎn)不會(huì)啟動(dòng)或?qū)⑴cVM一起不斷關(guān)閉,因此這樣的警報(bào)可能會(huì)起作用:
- alert: KubeVirtVMCrashing expr: up{pod=~"virt-launcher.*"} == 0 for: 5m labels: severity: critical annotations: summary: KubeVirt VM {{ $labels.pod }} is constantly crashing before node-exporter starts at boot.
感謝各位的閱讀,以上就是“如何理解Kubernetns容器與VM的編排”的內(nèi)容了,經(jīng)過(guò)本文的學(xué)習(xí)后,相信大家對(duì)如何理解Kubernetns容器與VM的編排這一問(wèn)題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!
本文題目:如何理解Kubernetns容器與VM的編排
文章鏈接:http://jinyejixie.com/article36/jpohsg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、App開發(fā)、網(wǎng)站設(shè)計(jì)公司、響應(yīng)式網(wǎng)站、做網(wǎng)站、建站公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)