ELK日志文件分析系統(tǒng)基本部署

ELK概述

? ELK是elasticsearch、Logstashh和Kibana三個(gè)系統(tǒng)的首字母組合。當(dāng)我們部署集群服務(wù)器的時(shí)候，日志文件就會(huì)散落在多臺(tái)服務(wù)器上。查看日志信息就需要到各個(gè)服務(wù)器上去取和查看，我們把這些日志文件歸集到一個(gè)地方統(tǒng)一管理。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：主機(jī)域名、虛擬空間、營銷軟件、網(wǎng)站建設(shè)、大化網(wǎng)站維護(hù)、網(wǎng)站推廣。

Elasticsearch是個(gè)開源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。

Logstash是一個(gè)完全開源的工具，他可以對(duì)你的日志進(jìn)行收集、過濾，并將其存儲(chǔ)供以后使用（如，搜索）。

Kibana也是一個(gè)開源和免費(fèi)的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

實(shí)驗(yàn)前期準(zhǔn)備

名稱	角色	地址
centos 7-1	node1+kibana	192.168.142.221
centos 7-2	node1	192.168.142.132
centos 7-3	Logstash+web	192.168.142.136

這里我將WEB端與日志文件系統(tǒng)安裝在了，各位可以根據(jù)個(gè)人情況，全部獨(dú)立出去。（虛擬機(jī)開太多了，電腦頂不住?。?/p>

實(shí)驗(yàn)步驟

一、部署Elasticsearch服務(wù)

注意：兩個(gè)節(jié)點(diǎn)操作相同

添加域名解析。方便后期使用

[root@node1 ~]# vim /etc/hosts
//添加
192.168.142.221 node1
192.168.142.132 node2

檢查JAVA版本（沒有安裝的可以使用yum install java進(jìn)行安裝）

[root@node1 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

部署elasticsearch服務(wù)（端口號(hào)：9200）

//部署elasticsearch服務(wù)
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm

//加載系統(tǒng)服務(wù)
[root@node1 ~]# systemctl daemon-reload
[root@node1 ~]# systemctl enable elasticsearch.service

修改ES配置文件

[root@node1 ~]# vim /etc/elasticsearch/elasticssearch.yml
//以下幾行取消注釋
17/ cluster.name: my-elk-eluster           //集群名字（所有節(jié)點(diǎn)必須一樣）
23/ node.name: node1            //節(jié)點(diǎn)名字（每個(gè)節(jié)點(diǎn)不同）
33/ path.data:/data/elk_data          //數(shù)據(jù)存放路徑
37/ path.logs:/var/log/elasticsearch/          //日志存放路徑
43/ bootstrap.memorylock: false                //不在啟動(dòng)的時(shí)候鎖定內(nèi)存
55/ network.host: 0.0.0.0                         //提供服務(wù)綁定的IP地址，0. 0. 0. 0代表所有地址
59/ http.port: 9200                  //偵聽端口為9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]               //集群發(fā)現(xiàn)通過單播實(shí)現(xiàn)

建立數(shù)據(jù)文件存放目錄，并開啟服務(wù)

[root@node1 ~]# mkdir -p /data/elk_data
[root@node1 ~]# chown -R elasticsearch:elasticsearch /data/elk_data     //修改屬主屬組
[root@node1 ~]# systemctl start elasticsearch.service
[root@node1 ~]# netstat -atnp | grep 9200

驗(yàn)證服務(wù)是否開啟

使用宿主機(jī)瀏覽器訪問：http://192.168.142.132:9200，即可獲取到相應(yīng)的節(jié)點(diǎn)信息，如下：

{
"name" : "node1",
"cluster_name" : "my-elk-cluster",
"cluster_uuid" : "mi3-z72CRqS-ofc4NhjXdQ",
"version" : {
"number" : "5.5.0",
"build_hash" : "260387d",
"build_date" : "2017-06-30T23:16:05.735Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}

二、安裝管理插件elasticsearch-head（端口：9100）

注意：兩個(gè)節(jié)點(diǎn)操作相同

解壓并編譯安裝

[root@node1 ~]# yum install gcc gcc-c++ make -y

//安裝node組件包
[root@node1 ~]# tar zxf node-v8.2.1.tar.gz -C /opt
//在node目錄中
[root@node1 ~]# ./configure
[root@node1 ~]# make              //異常費(fèi)時(shí)，大概耗時(shí)20min
[root@node1 ~]# make install

安裝phantomjs前端框架

[root@node1 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
[root@node1 ~]# cp /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin

安裝elasticsearch-head數(shù)據(jù)可視化工具

[root@node1 ~]# tar zxf elasticsearch-head.tar.gz -C /usr/local/src 
//在elasticsearch-head目錄中
[root@node1 ~]# npm install          //使用npm工具進(jìn)行安裝（node組件自帶）

修改elasticsearch-head配置文件

[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
//末行添加
http.cors.enabled: true            //開啟跨域訪問支持
http.cors.allow-origin: "*"            //跨域訪問允許的域名地址，*號(hào)為全網(wǎng)段

開啟elasticsearch-head工具

[root@node1 ~]# systemctl restart elasticsearch            //重啟ES服務(wù)
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &         //保持后臺(tái)運(yùn)行

三、安裝Logstash日志收集系統(tǒng)

安裝WEB服務(wù)

任意web服務(wù)均可（Apache、nginx、Tomcat均可），不再進(jìn)行詳細(xì)解釋。

這里使用的Apache服務(wù)

安裝logstash系統(tǒng)

[root@apache ~]# rpm -ivh logstash-5.5.1.rpm
[root@apache ~]# systemctl start logstash.service         //啟動(dòng)logstash
[root@apache ~]# systemctl enable logstash.service      //設(shè)置為開機(jī)自啟
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin     //建立軟鏈接方便使用

設(shè)置logstash與elasticsearch進(jìn)行對(duì)接

? logstash配置文件由三部分組成:input（入）、output（出）、filter

[root@apache log]# chmod o+r messages?
[root@apache log]# ll /var/log/messages?
-rw----r--. 1 root root 483737 Dec 18 17:54 /var/log/messages

[root@apache log]# vim /etc/logstash/conf.d/system.conf
//手動(dòng)添加
input {
? ? ? ? file{
? ? ? ? ? path => "/var/log/messages"                  //收集日志的路徑
? ? ? ? ? type => "system"                //便簽名稱
? ? ? ? ? start_position => "beginning"               //收集方式，"beginning"從頭開始
? ? ? ? ? }
? ? ? ? }
output {
? ? ? ? elasticsearch {
? ? ? ? ? hosts => ["192.168.142.136:9200"]             //es服務(wù)地址
? ? ? ? ? index => "system-%{+YYYY.MM.dd}"             //索引名稱
? ? ? ? ? }
? ? ? ? }

[root@apache log]# systemctl restart logstash.service ? ?//重啟服務(wù)

結(jié)果驗(yàn)證

四、logstash基本使用方法（與本次實(shí)驗(yàn)大體上無關(guān)，不愛看的朋友可以直接跳過）

Logstash命令測(cè)試

字段描述解釋:

-f 通過這個(gè)選項(xiàng)可以指定logstash的配置文件，根據(jù)配置文件配置logstash

-e后面跟著字符串該字符串可以被當(dāng)做logstash的配置 (如果是””，則默認(rèn)使用stdin做為輸入、stdout作為輸出)

-t 測(cè)試配置文件是否正確，然后退出

1、輸入、輸出均為標(biāo)準(zhǔn)模式
[root@apache ~]# logstash -e 'input { stdin{} },output { stdout{} }'
##輸入直接輸出在屏幕上
輸入：www.baidu.com
輸出：apache www.baidu.com

2、使用codec解碼器，使用rubydebug顯示詳細(xì)輸出
[root@apache ~]# logstash -e 'input { stdin{} },output { stdout { codec=>rubydebug } }'
##會(huì)按照編碼格式進(jìn)行輸出
輸入：www.baidu.com
輸出：
{
"@timestamp"=> 2018-10-12T02: 15:39.136Z, #時(shí)間
"@version=> "1", #版本
"host" => "apache", #使用Apache服務(wù)
"message" => "www.baidu. com" #訪問網(wǎng)頁
}

3、將信息寫入elasticsearch中
[root@apache ~]# logstash -e 'input { stdin{} },output {elasticsearch { hosts=>["192.168.142.221:9200"] } }'
##會(huì)在elasticsearch中生成索引
輸入：www.baidu.com
輸出：在elasticsearch中生成lostash-2019.12.17

五、安裝Kibana可視化工具（端口：5601）

在node1中進(jìn)行安裝

[root@node1 ~]# cd /abc/elk/
[root@node1 elk]# rpm -ivh kibana-5.5.1-x86_64.rpm?
[root@node1 kibana]# cp kibana.yml kibana.yml.bak

修改Kibana配置文件

[root@node1 kibana]# vim kibana.yml
//按照下圖進(jìn)行修改
2/ server.port: 5601 ? ? ? ? ? ? ? ? //打開端口
7/ server.host: "0.0.0.0" ? ? ? ? ? ? ? ? ? ?//監(jiān)聽的地址
21/ elasticsearch.url: "http://192.168.142.136:9200" ? ? ?//與elasticsearch建立聯(lián)系
30/ kibana.index: ".kibana" ? ? ? ? ? ? ? ? ?//在elasticsearch中添加.kibana索引

啟動(dòng)Kibana

[root@node1 kibana]# systemctl start kibana.service ? ? ? ? //開啟kibana服務(wù)
[root@node1 kibana]# systemctl enable kibana.service ? ? ? //設(shè)為開機(jī)自啟動(dòng)

web服務(wù)與elasticsearch進(jìn)行對(duì)接后，使用kibana進(jìn)行可視化

[root@apache log]# cd /etc/logstash/conf.d/
//修改配置文件（空的自行添加）
[root@apache conf.d]# vim apache_log.conf
input {
? ? ? ? file{
? ? ? ? ? path => "/etc/httpd/logs/access_log"                //針對(duì)于Apache的access日志
? ? ? ? ? type => "access"
? ? ? ? ? start_position => "beginning"
? ? ? ? ? }
? ? ? ? file{
? ? ? ? ? path => "/etc/httpd/logs/error_log"                 //針對(duì)于Apache的error日志
? ? ? ? ? type => "error"
? ? ? ? ? start_position => "beginning"
? ? ? ? ? }
? ? ? ? }
output {
? ? ? ? if [type] == "access" {
? ? ? ? elasticsearch {
? ? ? ? ? hosts => ["192.168.142.136:9200"]                    //elasticsearch地址
? ? ? ? ? index => "apache_access-%{+YYYY.MM.dd}"
? ? ? ? ? }
? ? ? ? }
? ? ? ? if [type] == "error" {
? ? ? ? elasticsearch {
? ? ? ? ? hosts => ["192.168.142.136:9200"]                      //elasticsearch地址
? ? ? ? ? index => "apache_error-%{+YYYY.MM.dd}"
? ? ? ? ? }
? ? ? ? }
? ? ? ? }

[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf?         //僅對(duì)于該日志文件進(jìn)行生效

在可視化界面進(jìn)行配置

在瀏覽器輸入http://192.168.142.136:5601/
首次登錄時(shí)創(chuàng)建一個(gè)索引（對(duì)接系統(tǒng)日志文件）：
輸入：access-*

點(diǎn)擊create按鈕進(jìn)行創(chuàng)建

點(diǎn)擊Discover按鈕，會(huì)發(fā)現(xiàn)access-*信息

六、安裝過程中可能遇到的問題

故障集：

19:43:59.210 [LogStash::Runner] FATAL logstash.runner - Logstash could not be started because there is already another instance using the configured data directory.  
If you wish to run multiple instances, you must change the "path.data" setting.

解決方案

//查看logstash配置文件
    vim /etc/logstash/logstash.yml
//找到path.data路徑
    /var/lib/logstash/
//刪除緩存
    rm -rf .lock
//帶路徑重啟
    logstash -f /etc/logstash/conf.d/nginx_log.conf --path.data=/var/lib/logstash

感謝閱讀~ ~ ~

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)建站jinyejixie.com，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文名稱：ELK日志文件分析系統(tǒng)基本部署（純實(shí)戰(zhàn)）-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://jinyejixie.com/article32/ddeesc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、網(wǎng)站內(nèi)鏈、靜態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)公司、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)