Elasticsearch+Logstash+Filebeat+Kibana部署
一、配置准备
关闭防火墙与安全上下文
[root@elk ~]# systemctl stop firewalld[root@elk ~]# setenforce 0安装elasticsearch、kibana、logstash、filebeat
二、单机模式 ELK部署
修改域名解析
[root@elk ~]# vim /etc/hosts
elasticsearch配置
[root@elk ~]# vim /etc/elasticsearch/elasticsearch.yml
启动elasticsearch服务
logstash
[root@elk ~]# cd /etc/logstash/conf.d/[root@elk conf.d]# vim pipline.conf[root@elk conf.d]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
kibana
[root@elk ~]# vim /etc/kibana/kibana.yml 
启动服务
[root@elk ~]# systemctl start kibana.service[root@elk ~]# netstat -anput | grep node
验证
[root@elk ~]# logstash -e \'input{ stdin{} }output { stdout{} }\'
[root@elk ~]# logstash -e \'input { stdin{} } output { stdout{ codec=>rubydebug }}\'
网页访问
生成图表
[root@elk ~]# logstash -f /etc/logstash/conf.d/pipline.conf ##生成日志
三、分布式系统日志监控 - ELKF整合实验
准备阶段
基础
elasticsearch-7.1.1-1.x86_64
logstash-7.1.1-1.noarch
filebeat-7.1.1-1.x86_64
kibana-7.1.1-1.x86_64
[root@everyone ~]# vim /etc/hosts[root@everyone ~]# systemctl stop firewalld[root@everyone ~]# setenforce 0
配置
elasticsearch 端
[root@elas ~]# vim /etc/elasticsearch/elasticsearch.yml 
kibana端
logstash端
链接命令，方便使用
[root@logstash ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/启动服务
[root@logstash ~]# logstash -e \'input { stdin{} } output { elasticsearch{ hosts=>[\"192.168.11.5:9200\"]} }\'
本地端系统日志采集
logstash端
[root@logstash ~]# cd /etc/logstash/conf.d/[root@logstash conf.d]# vim messages.conf[root@logstash conf.d]# logstash -f /etc/logstash/conf.d/messages.conf 
Filebeat端 系统日志采集
logstash端
[root@logstash conf.d]# vim filebeat.conf
filebeat端
启动服务
[root@filebeat ~]# systemctl start filebeat.service [root@logstash conf.d]# logstash -f /etc/logstash/conf.d/filebeat.conf
Filebeat端 nginx+系统 日志收集
filebeat端
[root@filebeat ~]# vim /etc/filebeat/filebeat.yml [root@filebeat ~]# filebeat test config ##检测文件Config OK
logstash端
root@logstash conf.d]# vim filebeat.conf 
启动服务
[root@filebeat ~]# systemctl status filebeat[root@logstash conf.d]# logstash -f /etc/logstash/conf.d/filebeat.conf ##指向文件
Filebeat端 Crond 日志收集
logstash
filebeat端
结果
Filebeat端 SSH 日志收集
logstash端
filebeat端
结果
Filebeat端 系统 日志收集
Filebeat端 mysql 日志收集
logstash端
filebeat端
结果
Filebeat端 redis 日志收集
logstash端
filebeat端
结果
Filebeat端 DHCP 日志收集
配置dhcp，生成日志
dhcp端添加新网卡，并修改配置文件
[root@filebeat dhcp]# cp /usr/share/doc/dhcpd.conf.example /etc/dhcp/
[root@filebeat ~]# vim /etc/rsyslog.d/dhcpd.conf# 过滤 dhcpd 的日志（服务端）if $programname == \'dhcpd\' then /var/log/dhcpd/dhcp.log
filebeat端
logstash端
结果
Filebeat端 DNS 日志收集
配置DNS
[root@filebeat ~]# mkdir -p /var/log/named[root@filebeat ~]# chown named:named /var/log/named[root@filebeat ~]# chmod 755 /var/log/named[root@filebeat ~]# vim /etc/named.conf 
vim /etc/named.rfc1912.zones
[root@filebeat ~]# cd /var/named/[root@filebeat named]# cp -p named.empty wezzer.com.zones[root@filebeat named]# cp -p named.empty 192.168.100.zones[root@filebeat named]# vim wezzer.com.zones [root@filebeat named]# vim 192.168.100.zones [root@filebeat named]# vim /etc/resolv.conf [root@filebeat named]# systemctl start named ##启动服务进行访问
filebeat端
logstash端
结果
Filebeat端 RSYNC 日志收集
rsync -avz --log-file=/var/log/rsync.log 用户@IP:/path /path/ ##指定生成日志filebeat端
logstash端
结果
Filebeat端 TOMCAT 日志收集
filebeat端
logstash端
结果
Filebeat端 NFS 日志收集
filebeat端
logstash端
结果
Filebeat端 LVS 日志收集
logstash端
filebeat端
结果
Filebeat端 KEEPALIVED 日志收集
filebeat端
logstash端
结果
Filebeat端 HAPROXY日志收集
filebeat端
logstash端
结果
