云計(jì)算
一、Docker的監(jiān)控 (1)docker自帶的監(jiān)控命令博文大綱:
托里網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)!從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作,到程序開發(fā),運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)成立與2013年到現(xiàn)在10年的時(shí)間,我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn),來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。
一、Docker的監(jiān)控
二、prometheus簡(jiǎn)介
三、Prometheus組成及架構(gòu)
四、部署prometheus
1)環(huán)境準(zhǔn)備
2)部署prometheus
3)配置Peometheus監(jiān)控實(shí)現(xiàn)報(bào)警
[root@localhost ~]# docker top wordpress_wordprss_1 //查看容器的使用狀態(tài)
UID PID PPID C STIME TTY TIME CMD
root 5601 5569 0 20:53 ? 00:00:00 apache2 -DFOREGROUND
33 6073 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6074 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6075 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6076 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6077 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6096 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6098 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6099 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6100 5601 0 20:54 ? 00:00:00 apache2 -DFOREGROUND
33 6155 5601 0 20:57 ? 00:00:00 apache2 -DFOREGROUND
[root@localhost ~]# docker stats wordpress_wordprss_1
[root@localhost ~]# docker logs wordpress_wordprss_1
//這三條都是容器本身自帶的監(jiān)控命令
(2)sysdig
[root@localhost ~]# docker run -it --rm --name sysdig --privileged=true --volume=/var/run/docker.sock:/host/var/run/docker.sock --volume=/dev:/host/dev --volume=/proc:/host/proc:ro --volume=/boot:/host/boot:ro --volume=/lib/modules:/host/lib/modules:ro --volume=/usr:/host/usr:ro sysdig/sysdig
//創(chuàng)建一個(gè)容器并自動(dòng)進(jìn)入容器中
//--rm:隨著退出容器而被刪除;
//--privileged=true:賦予特殊權(quán)限;
root@711dbeb59fdd:/# csysdig //執(zhí)行這條命令
如圖:
圖中可以使用鍵盤和鼠標(biāo)進(jìn)行操作!
[root@localhost ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@localhost ~]# chmod +x /usr/local/bin/scope //下載安裝腳本
[root@localhost ~]# scope launch //以容器方式啟動(dòng)
……………………
Weave Scope is listening at the following URL(s):
* http://172.21.0.1:4040/
* http://192.168.122.1:4040/
* http://172.22.0.1:4040/
* http://172.20.0.1:4040/
* http://172.18.0.1:4040/
* http://172.19.0.1:4040/
* http://192.168.1.1:4040/
//根據(jù)末尾的提示信息進(jìn)行訪問(wèn)
如圖:
根據(jù)圖中的提示,自行可以點(diǎn)擊進(jìn)行測(cè)試!
如果要監(jiān)控兩臺(tái)的話:主機(jī)名必須進(jìn)行區(qū)分方法如下:
[root@dockerA ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerA ~]# chmod +x /usr/local/bin/scope
[root@dockerA ~]# scope launch 192.168.1.1 192.168.1.2 //選擇指定本地的IP,再指定對(duì)方的IP
[root@dockerA ~]# docker run -itd --name http httpd //運(yùn)行一個(gè)容器進(jìn)行測(cè)試
[root@dockerB ~]# curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerB ~]# chmod +x /usr/local/bin/scope
[root@dockerB ~]# scope launch 192.168.1.2 192.168.1.1
[root@dockerB ~]# docker run -itd --name nginx nginx
訪問(wèn)(dockerA、dockerB任意一臺(tái)即可)測(cè)試:
二、prometheus簡(jiǎn)介Prometheus是一套開源的系統(tǒng)監(jiān)控報(bào)警框架。它以給定的時(shí)間間隔從已配置的目標(biāo)收集指標(biāo),評(píng)估規(guī)則表達(dá)式,顯示結(jié)果,并在發(fā)現(xiàn)某些情況為真時(shí)觸發(fā)警報(bào)。
三、Prometheus組成及架構(gòu)作為新一代的監(jiān)控框架,Prometheus具有以下特點(diǎn) :
強(qiáng)大的多維度數(shù)據(jù)模型:
(1)時(shí)間序列數(shù)據(jù)通過(guò)metric名和鍵值對(duì)來(lái)區(qū)分;
(2)所有的metrics都可以設(shè)置任意的多維標(biāo)簽;
(3)數(shù)據(jù)模型更隨意,,不需要刻意設(shè)置為以點(diǎn)分隔的字符串;
(4)可以對(duì)數(shù)據(jù)模型進(jìn)行聚合、切割和切片操作;
(5)支持雙精度浮點(diǎn)類型,標(biāo)簽可以設(shè)為全unicode(統(tǒng)一碼); 靈活、強(qiáng)大的查詢語(yǔ)句:在同一個(gè)查詢語(yǔ)句,可以對(duì)多個(gè) metrics 進(jìn)行乘法、加法、連接、取分?jǐn)?shù)位等操作; 易于管理:不依賴于分布式存儲(chǔ); 使用 pull 模式采集時(shí)間序列數(shù)據(jù); 可以采用 push gateway 的方式把時(shí)間序列數(shù)據(jù)推送至 Prometheus server 端; 可以通過(guò)服務(wù)發(fā)現(xiàn)或者靜態(tài)配置去獲取監(jiān)控的 targets; 有多種可視化圖形界面; 易于伸縮。;
Prometheus包含了許多組件,其中許多組件都是可選的,常用的組件有:
Prometheus Server:用于收集和存儲(chǔ)時(shí)間序列數(shù)據(jù); Client Library:客戶端庫(kù),為需要監(jiān)控的服務(wù)生成相應(yīng)的 metrics 并暴露給 Prometheus server; Push Gateway:主要用于短期的 jobs。由于這類 jobs 存在時(shí)間較短,可能在 Prometheus 來(lái) pull 之前就消失了。為此,這次 jobs 可以直接向 Prometheus server 端推送它們的 metrics; Exporters:用于暴露已有的第三方服務(wù)的 metrics 給 Prometheus; Alertmanager:從 Prometheus server 端接收到 alerts 后,會(huì)進(jìn)行去除重復(fù)數(shù)據(jù),分組,并路由到對(duì)端的接受方式,發(fā)出報(bào)警;
…………等等,還有好多,這里就列出幾個(gè)常用的組件!
Prometheus官方文檔中的架構(gòu)圖:
官方的架構(gòu)圖中,主要模塊塊包括:Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及圖形界面;
大致的工作流程是:
(1)Prometheus server 定期從配置好的 jobs 或者 exporters 中拉 metrics,或者接收來(lái)自 Pushgateway 發(fā)過(guò)來(lái)的 metrics,或者從其他的 Prometheus server 中拉 metrics;
(2)Prometheus server 在本地存儲(chǔ)收集到的 metrics,并運(yùn)行已定義好的 alert.rules,記錄新的時(shí)間序列或者向 Alertmanager 推送警報(bào);
(3)Alertmanager 根據(jù)配置文件,對(duì)接收到的警報(bào)進(jìn)行處理,發(fā)出告警;
(4)在圖形界面中,可視化采集數(shù)據(jù);
注意:上述三臺(tái)服務(wù)器上必須具備最基本的docker環(huán)境,上述環(huán)境的docker版本為18.09.0!
上述環(huán)境所需組件的作用如下:
Prometheus server:普羅米修斯的主服務(wù)器(端口:9090); NodeEXporter:負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息,(端口:9100); cAdvisor:負(fù)責(zé)收集Host上運(yùn)行的容器信息(端口:8080); Grafana:負(fù)責(zé)展示普羅米修斯監(jiān)控界面(3000); Alertmanager:用來(lái)接收Prometheus發(fā)送的報(bào)警信息,并且執(zhí)行設(shè)置好的報(bào)警方式,報(bào)警內(nèi)容(同樣也是在dockerA主機(jī)上部署,端口:9093);
各組件的關(guān)系:NodeEXporter、cAdvisor負(fù)責(zé)收集信息發(fā)送給 Prometheus server,在由 Prometheus server交給Grafana進(jìn)行圖形化的顯示。如需報(bào)警,則由prometheus向Alertmanager組件發(fā)送信息!
實(shí)驗(yàn)環(huán)境,為了簡(jiǎn)單起見(jiàn),關(guān)閉防火墻、SELinux,實(shí)際環(huán)境中需開啟相應(yīng)的端口!
2)部署prometheus (1)運(yùn)行node-exporter容器NodeEXporter主要負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息!
[root@dockerA ~]# docker run -d --name node -p 9100:9100 -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points ^/(sys|proc|dev|host|etc)($|/)
//使用prom/node-exporter 鏡像創(chuàng)建一個(gè)名為node的容器,用于收集硬件和系統(tǒng)信息;
//--net=host表示Prometheus server可以直接與node-exporter通信;
//并映射9100端口
執(zhí)行完成后,客戶端使用瀏覽器進(jìn)行訪問(wèn),如圖:
訪問(wèn)到以上頁(yè)面表示node-exporter這個(gè)組件安裝成功!
由于這個(gè)NodeEXporter組件需要在三臺(tái)docker host主機(jī)上,所以以上命令就需要在另外兩臺(tái)主機(jī)上都執(zhí)行。執(zhí)行完成后,自行使用瀏覽器訪問(wèn)測(cè)試!
(2)運(yùn)行cAdvisor容器cAdvisor主要負(fù)責(zé)收集Host上運(yùn)行的容器信息!
[root@dockerA ~]# docker run -v /:/rootfs:ro -v /var/run:/var/run/:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -p 8080:8080 --detach=true --name=cadvisor --net=host google/cadvisor
客戶端訪問(wèn)測(cè)試:
訪問(wèn)到上述頁(yè)面則表示cAdvisor這個(gè)組件安裝成功!
同樣這個(gè)cAdvisor組件也是需要在三臺(tái)docker host上全部安裝的!所以以上命令也需在另外兩臺(tái)主機(jī)上執(zhí)行,執(zhí)行完成后,自行測(cè)試!
(3)運(yùn)行Prometheus server容器(只需在dockerA主機(jī)上執(zhí)行即可?。?p>Prometheus是普羅米修斯的主服務(wù)器!在部署Prometheus之前,需要對(duì)它的配置文件進(jìn)行修改,所以首先運(yùn)行一個(gè)Prometheus容器將其配置文件復(fù)制到本地,便于進(jìn)行修改。
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host prom/prometheus
//運(yùn)行一個(gè)Prometheus容器是為了將它的配置文件拿到本地
[root@dockerA ~]# docker cp prometheus:/etc/prometheus/prometheus.yml .
//將Prometheus容器中的主配置文件復(fù)制到本地
[root@dockerA ~]# vim prometheus.yml //編輯主配置文件
- targets: [\'localhost:9090\',\'localhost:8080\',\'localhost:9100\',\'192.168.1.2:8080\',\'192.168.1.2:9100\',\'192.168.1.3:8080\',\'192.168.1.3:9100\']
//這項(xiàng)原本是存在的,只需修改即可!
//用于指定監(jiān)控本機(jī)的9090、8080、9100這三個(gè)端口,另外添加另外兩臺(tái)docker主機(jī)的8080、9100這兩個(gè)端口。
//8080端口運(yùn)行的是cAdvisor服務(wù)
//9100端口運(yùn)行的是node-exporter服務(wù)
//9090端口運(yùn)行的就是Prometheus服務(wù)
[root@dockerA ~]# docker rm prometheus -f //將剛才運(yùn)行的容器刪除
prometheus
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
//重新運(yùn)行一個(gè)prometheus容器,將剛才修改完成的配置文件掛載到容器中
客戶端訪問(wèn)測(cè)試:
(4)運(yùn)行g(shù)rafana容器(同樣只需在dockerA主機(jī)上運(yùn)行即可?。?p>grafana主要負(fù)責(zé)展示普羅米修斯監(jiān)控界面,給我們提供良好的圖形化界面![root@dockerA ~]# mkdir grafana-storage
[root@dockerA ~]# chmod 777 -R grafana-storage
//創(chuàng)建一個(gè)目錄,賦予777的權(quán)限
[root@dockerA ~]# docker run -d -p 3000:3000 --name grafana -v /root/grafana-storage:/var/lib/grafana -e GF_SECURITY_ADMIN_PASSWORD=123.com grafana/grafana
//“-e”選項(xiàng)表示修改容器內(nèi)部的環(huán)境變量,將admin用戶的密碼更改為123.com;
客戶端訪問(wèn)測(cè)試:
上述配置完成后,我們就需要配置它以什么樣的形式來(lái)給我們展示了,可以自定義,但是很麻煩,我選擇直接去grafana官網(wǎng)尋找現(xiàn)成的模板。如圖:
將grafana官方的模板導(dǎo)入到我們的grafana容器提供的web頁(yè)面中,方法有兩種方式:
1)第一種方式:在grafana官網(wǎng)選擇自己喜歡的模板,點(diǎn)擊進(jìn)入,如圖:
下載后,回到自己搭建的grafana容器提供的web頁(yè)面中,如圖:
但是仔細(xì)看的話,會(huì)發(fā)現(xiàn)這個(gè)模板有些信息都檢測(cè)不到,所以這里就是為了展示一種方式導(dǎo)入模板的方式。個(gè)人建議推薦使用第二種方式!
選擇合適的模板后,記錄其ID號(hào),如圖:
記錄下模板的ID號(hào)之后,同樣回到自己搭建的grafana容器提供的web頁(yè)面中,如圖:
至此web界面的監(jiān)控就部署完成了!
3)配置Peometheus監(jiān)控實(shí)現(xiàn)報(bào)警Prometheus的報(bào)警方式有好幾種,比如:郵箱、微信、釘釘?shù)?,本次案例采用郵箱告警的方式。
(1)運(yùn)行alertmanager容器Alertmanager組件主要是用來(lái)接收Prometheus發(fā)送的報(bào)警信息,并且執(zhí)行設(shè)置好的報(bào)警方式,報(bào)警內(nèi)容;
只需在dockerA主機(jī)上部署即可!方法如下:
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 prom/alertmanager
//隨便運(yùn)行一個(gè)容器,其目的就是將容器中服務(wù)的配置文件拿到本地
[root@dockerA ~]# docker cp alertmanager:/etc/alertmanager/alertmanager.yml .
//將altermanager服務(wù)的yml配置文件拿到本地
[root@dockerA ~]# vim alertmanager.yml //編輯配置文件
global:
resolve_timeout: 5m
smtp_from: \'1454295320@qq.com\' #發(fā)送者信息
smtp_smarthost: \'smtp.qq.com:465\'
smtp_auth_username: \'1454295320@qq.com\' #接收者信息
smtp_auth_password: \'gfuxsudyqyulbaad\' #使用qq郵箱生成的授權(quán)碼
smtp_require_tls: false
smtp_hello: \'qq.com\'
route:
group_by: [\'alertname\'] #采用默認(rèn)組
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: \'email\'
receivers:
- name: \'email\'
email_configs:
- to: \'1454295320@qq.com\' //發(fā)送者信息
send_resolved: true //當(dāng)容器恢復(fù)正常時(shí),也會(huì)發(fā)送一份郵件
inhibit_rules:
- source_match:
severity: \'critical\'
target_match:
severity: \'warning\'
equal: [\'alertname\', \'dev\', \'instance\']
//配置文件中常用需要修改的地方已經(jīng)做了備注
alertmanager.yml配置文件中一級(jí)字段:
global:全局配置(包括報(bào)警解決的超時(shí)時(shí)間、SMTP相關(guān)配置、各種渠道通知的API地址等新消息); route:用來(lái)設(shè)置報(bào)警的分發(fā)策略; receivers:配置告警消息接收者信息; inhibit_rules:抑制規(guī)則配置,當(dāng)存在與另一組匹配的警報(bào)時(shí),抑制規(guī)則將僅用于一組匹配的;
[root@dockerA ~]# docker rm -f alertmanager //將原本的alertmanager 容器刪除
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager
//重新運(yùn)行alertmanager 容器,并將配置文件掛載到容器中
//建議運(yùn)行容器之后,使用docker ps | grep alertmanager 確保容器正常運(yùn)行
//如果配置文件編寫錯(cuò)誤,那么這個(gè)容器是無(wú)法啟動(dòng)的
(2)配置alertmanager報(bào)警規(guī)則
[root@dockerA ~]# mkdir -p prometheus/rules && cd prometheus/rules
//創(chuàng)建目錄用于存放規(guī)則的目錄
[root@dockerA rules]# vim node-up.rules //編寫規(guī)則
groups:
- name: node-up //自定義名稱
rules:
- alert: node-up
expr: up{job=prometheus} == 0
// job的名稱必須和prometheus配置文件中的 - job_name: \'prometheus\'對(duì)應(yīng)
for: 15s
labels:
severity: 1
team: node
annotations:
summary: {{ $labels.instance }} 已停止運(yùn)行超過(guò) 15s!
可以根據(jù)以上配置文件進(jìn)行修改,若想自己編寫報(bào)警規(guī)則,可以參考它的官方文檔,如圖:
(3)關(guān)聯(lián)Prometheus[root@dockerA ~]# vim prometheus.yml
8 alerting:
9 alertmanagers:
10 - static_configs:
11 - targets:
12 - 192.168.1.1:9093 //此行將原本的內(nèi)容更改為alertmanager容器的IP+端口
13
14 # Load rules once and periodically evaluate them according to the global \'evaluat ion_interval\'.
15 rule_files:
16 - /usr/local/prometheus/rules/*.rules //這一行需要手動(dòng)添加,指定容器內(nèi)的路徑
[root@dockerA ~]# docker rm -f prometheus //修改完配置為文件后,需要將容器刪除,重新運(yùn)行一臺(tái)新的容器
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml -v /root/prometheus/rules/node-up.rules:/usr/local/prometheus/rules/node-up.rules prom/prometheus
//指定步驟(2)編寫的rule文件的路徑,
為防止格式可能會(huì)出現(xiàn)錯(cuò)誤,附上截圖一張,如下:
至此,如果prometheus頁(yè)面中的target有異常(比如宕機(jī)),那么就會(huì)給你的郵箱發(fā)送報(bào)警信息。
我手動(dòng)停掉容器,收到的郵件如下:
為了追求美觀,我們采取設(shè)置一下報(bào)警信息的模板!
(4)設(shè)置報(bào)警信息模板[root@dockerA ~]# cd prometheus
[root@dockerA prometheus]# mkdir alertmanager-tmpl
[root@dockerA prometheus]# cd alertmanager-tmpl/
[root@dockerA prometheus]# vim email.tmpl
{{ define email.from }}1454295320@qq.com{{ end }}
{{ define email.to }}1454295320@qq.com{{ end }}
{{ define email.to.html }}
{{ range .Alerts }}
=========start==========<br>
告警程序: prometheus_alert<br>
告警級(jí)別: {{ .Labels.severity }} 級(jí)<br>
告警類型: {{ .Labels.alertname }}<br>
故障主機(jī): {{ .Labels.instance }}<br>
告警主題: {{ .Annotations.summary }}<br>
觸發(fā)時(shí)間: {{ .StartsAt.Format 2019-08-04 16:58:15 }} <br>
=========end==========<br>
{{ end }}
{{ end }}
[root@dockerA ~]# vim alertmanager.yml
global:
resolve_timeout: 5m
smtp_from: \'1454295320@qq.com\'
smtp_smarthost: \'smtp.qq.com:465\'
smtp_auth_username: \'1454295320@qq.com\'
smtp_auth_password: \'flnuwdktcbzwffag\'
smtp_require_tls: false
smtp_hello: \'qq.com\'
templates: //添加此行
- \'/etc/alertmanager-tmpl/*.tmpl\' //指定容器中模板的路徑
route:
group_by: [\'alertname\']
group_wait: 5s
group_interval: 5s
repeat_interval: 5m
receiver: \'email\'
receivers:
- name: \'email\'
email_configs:
- to: \'{{ template email.to }}\' //必須和模板中對(duì)應(yīng) html: \'{{ template email.to.html . }}\' //必須和模板中對(duì)應(yīng)
send_resolved: true
inhibit_rules:
- source_match:
severity: \'critical\'
target_match:
severity: \'warning\'
equal: [\'alertname\', \'dev\', \'instance\']
[root@dockerA ~]# docker rm alertmanager -f
//刪除容器
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml -v /root/prometheus/alertmanager-tmpl:/etc/alertmanager-tmpl prom/alertmanager
//創(chuàng)建容器本地創(chuàng)建的模板文件
//創(chuàng)建完成后,確定容器是正常運(yùn)行
至此,新的報(bào)警模板也生成了,如果以下容器有Down的,就會(huì)給你發(fā)送新的郵件,恢復(fù)正常后,也會(huì)發(fā)送郵件,同樣,郵件中的內(nèi)容格式是有誤的,但是你可以正常接收到報(bào)警信息,若想要更改其報(bào)警模板,可以參考官方文檔
郵箱收到的報(bào)警信息如下:
比原本的效果要好很多!就簡(jiǎn)單介紹一下這一個(gè)吧,有興趣可以參考官網(wǎng)的文檔,自行進(jìn)行編寫!
————————————本文到此結(jié)束,感謝閱讀————————————
名稱欄目:Docker監(jiān)控——Prometheus
標(biāo)題來(lái)源:http://jinyejixie.com/article10/choego.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)公司、動(dòng)態(tài)網(wǎng)站、自適應(yīng)網(wǎng)站、網(wǎng)站改版、全網(wǎng)營(yíng)銷推廣、外貿(mào)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容