這篇文章給大家介紹如何使用Elasticsearch實(shí)時(shí)監(jiān)控VPC flow log，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

創(chuàng)新互聯(lián)2013年至今，先為易縣等服務(wù)建站，易縣等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢(xún)服務(wù)。為易縣企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

關(guān)鍵詞：ElasticSearch、vpc流日志、CloudWatch日志
適讀水平：有一定AWS基礎(chǔ)
適讀職業(yè)：運(yùn)維、運(yùn)營(yíng)管理
應(yīng)用場(chǎng)景：ElasticSearch日志分析

流程架構(gòu)圖

步驟1 創(chuàng)建Elasticsearch域

登錄Elasticsearch控制臺(tái)

點(diǎn)擊“創(chuàng)建新域”，基本都是默認(rèn)設(shè)置，填寫(xiě)ES域名稱(chēng)

其他都可以默認(rèn)設(shè)置，“下一步”，
為了方便設(shè)置訪問(wèn)權(quán)限“公有訪問(wèn)權(quán)限”，

訪問(wèn)策略設(shè)置“允許對(duì)域進(jìn)行公開(kāi)訪問(wèn)”，

注意：通常情況下應(yīng)該選擇“允許從特定ip訪問(wèn)域”，但是在測(cè)試過(guò)程中總是在訪問(wèn)kinana的時(shí)候報(bào)錯(cuò)"User: anonymous is not authorized to perform: es:ESHttpGet"，報(bào)錯(cuò)的解決方案可以參考官網(wǎng)文檔 https://docs.aws.amazon.com/zh_cn/elasticsearch-service/latest/developerguide/aes-handling-errors.html ，最簡(jiǎn)單的解決辦法就是允許公開(kāi)訪問(wèn)，故本次操作實(shí)踐配置為允許公開(kāi)訪問(wèn)。
繼續(xù)“下一步”，都采用默認(rèn)設(shè)置，點(diǎn)擊“確認(rèn)”，成功創(chuàng)建ES域。

步驟2 創(chuàng)建CloudWatch日志組

切換到CloudWatch控制臺(tái)，選擇日志欄

點(diǎn)擊“創(chuàng)建日志組”，填寫(xiě)日志組名稱(chēng)，完成日志組創(chuàng)建，如下圖所示：

點(diǎn)擊創(chuàng)建的日志組log-vpcflow進(jìn)去，查看其內(nèi)容

因?yàn)槟壳斑€沒(méi)有日志進(jìn)來(lái)，所以為空，接下來(lái)就是要產(chǎn)生日志。

步驟3 開(kāi)啟VPC flow log

本節(jié)需要做兩個(gè)工作：1）vpc flow log的產(chǎn)生，我們?cè)趘pc里面創(chuàng)建一個(gè)ec2實(shí)例即可；2）將vpc flow log 推送到CloudWatch日志組。
1）新創(chuàng)建一個(gè)ec2實(shí)例，基本操作，省略。

2）開(kāi)啟vpc flow log并配置
切換到vpc控制臺(tái)，選擇“您的VPC”欄

在當(dāng)前區(qū)域，有兩個(gè)vpc，一個(gè)默認(rèn)vpc，一個(gè)是我自己創(chuàng)建的VPC（通常我都使用自己創(chuàng)建的VPC），之前的ec2實(shí)例也是在這個(gè)“vpc-xuyi”中，所以選中該VPC，在廈門(mén)可以看到有4個(gè)tab欄目，選擇其中“flow logs”

點(diǎn)擊“create flow log”，開(kāi)始創(chuàng)建vpc 流日志，

其中，過(guò)濾器選擇“all”，目標(biāo)選擇“send to CloudWatch logs”，在目標(biāo)日志組選擇在步驟2中創(chuàng)建的日志組“l(fā)og-vpcflow”，現(xiàn)在還需要配置IAM角色，點(diǎn)擊藍(lán)色字體的“set up permission”

這是使用向?qū)J(rèn)配置的權(quán)限，我們無(wú)需進(jìn)行修改，點(diǎn)擊“允許即可”，即創(chuàng)建一個(gè)角色“flowlogsRole”，我們可切換到IAM控制臺(tái)查看該角色

Ok，現(xiàn)在我們需要重新回到之前未完成的流程，進(jìn)入VPC控制臺(tái)->選擇合適的vpc->創(chuàng)建vpc流日志->配置角色

點(diǎn)擊“create”

Vpc flow log創(chuàng)建完成。
再切換到CloudWatch控制臺(tái)，進(jìn)入我們創(chuàng)建的日志組中，可以看到在日志組“l(fā)og-vpcflow”
中有一條流日志

注意：此處流日志出現(xiàn)可能需要等待一段時(shí)間，點(diǎn)擊右邊的刷新圖標(biāo)，多刷幾次吧，時(shí)間不好說(shuō)，可能有好幾分鐘也可能很快，總之耐心等待吧。
我們可以點(diǎn)擊流日志進(jìn)去查看（其實(shí)也沒(méi)什么好看的）

步驟4 配置CloudWatch日志組

現(xiàn)在還需要將CloudWatch日志組的日志傳到ElasticSearch域中，還是在之前創(chuàng)建的日志組界面

選擇“流式傳輸?shù)紼S”

選擇賬號(hào)“此賬戶(hù)”，ES集群選擇之前創(chuàng)建的ES域“es-vpc-log”，lambda角色選擇“創(chuàng)建IAM角色”

這里也是配置向?qū)Ыo出的默認(rèn)角色，直接允許就行，將會(huì)創(chuàng)建一個(gè)相應(yīng)的角色

允許之后，在角色部分已經(jīng)選擇好了剛剛創(chuàng)建的角色，點(diǎn)擊“下一步”

日志格式選擇“vpc流日志”，點(diǎn)擊“下一步”，一路確認(rèn)即可

最后可以看到我們的cloudwatch日志組已經(jīng)被一個(gè)lambda函數(shù)訂閱，該函數(shù)將我們的日志流式傳輸?shù)紼S域。我們也可以進(jìn)入lambda控制臺(tái)看看該函數(shù)的架構(gòu)內(nèi)容（不想看就不用進(jìn)去看了，嘿嘿）

那么上圖這個(gè)lambda函數(shù)就是我們通過(guò)使用向?qū)?chuàng)建的，這就是向?qū)У暮锰幜?，代碼我也不懂。

步驟5 監(jiān)控vpc flow log

切換到Elasticsearch控制臺(tái)，選中我們創(chuàng)建的域

選擇“索引”

其中的“cwl-2019.11.07”就是收集到的vpc流日志，命名中包含了2019年11月7日。
再選擇“概述”頁(yè)

點(diǎn)擊“kibana”后的鏈接，進(jìn)入kibana頁(yè)面

頁(yè)面刷新時(shí)間較長(zhǎng)，等吧，在上圖中選擇左側(cè)的“管理”圖標(biāo)

選擇“index patterns”

這里的索引就是在前面我們看到的那條日志“cwl-2019.11.07”，將該索引填入index pattern字段，點(diǎn)擊“下一步”，就會(huì)看到將索引的結(jié)構(gòu)列出來(lái)了

再選擇左側(cè)的“發(fā)現(xiàn)”圖標(biāo)

到此為止，我們就已經(jīng)實(shí)現(xiàn)了對(duì)vpc flow log的監(jiān)視，并且可以通過(guò)Elasticsearch的kibana工具來(lái)對(duì)日志進(jìn)行可視化的展現(xiàn)。Kibana本身是一個(gè)強(qiáng)大的可視化工具，本人對(duì)此也甚了解，所以無(wú)法給出更進(jìn)一步的指導(dǎo)。

關(guān)于如何使用Elasticsearch實(shí)時(shí)監(jiān)控VPC flow log就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

新聞名稱(chēng)：如何使用Elasticsearch實(shí)時(shí)監(jiān)控VPCflowlog
文章位置：http://jinyejixie.com/article4/ipijoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、做網(wǎng)站、網(wǎng)站制作、響應(yīng)式網(wǎng)站、軟件開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)