ELK(Filebeat+Logstash+Elasticsearch+Kibana)日志收集系统_使用阿里云elasticsearch + logstash + kibana+filebeat 搭建

使用 docker 部署EFK日志收集系统

• 本次搭建的ELK日志系统架构简介
• • Filebeat配置
  • • filebeat的dockers compose yml配置文件
    • 创建filebeat目录以及对应的子目录
    • filbeat的配置文件
  • Logstash、Elasticsearch、Kibana配置
  • • Logstash、Elasticsearch、Kibana的dockers compose yml配置文件
    • 创建kibana目录以及yml配置文件
    • 创建 logstash目录以及yml配置文件
    • • logstash目录下pipeline目录的yml文件**
    • 接下来使用浏览器在es添加对应的索引日志了，过于简单就不在此赘述了！！

本次搭建的ELK日志系统架构简介

本次ELF日志收集系统，使用Filebeat收集所需要的日志推送给Logstash，Logstash配置过滤信息再将信息发送给Elasticsearch再由Kibana呈现。

Filebeat配置

filebeat的dockers compose yml配置文件

version: \"3\"services: filebeat: image: docker.elastic.co/beats/filebeat:7.17.11 container_name: filebeat restart: always privileged: true user: root volumes: - /filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro #- /var/lib/docker/containers:/var/lib/docker/containers - /filebeat/modules.d:/usr/share/filebeat/modules.d - /root/logs/:/var/log/ ##将filebeat的日志路径挂载到所需要收集的日志目录下面 #- /var/lib/docker/containers:/var/lib/docker/containers:ro #- /var/run/docker.sock:/var/run/docker.sock:ro - /etc/localtime:/etc/localtime:ro - /filebeat/data:/usr/share/filebeat/data:rw command: /bin/bash -c /usr/share/filebeat/filebeat setup --pipelines --modules nginx,system,logstash,elasticsearch,kibana~  

创建filebeat目录以及对应的子目录

root@hzd:/filebeat# pwd/filebeatroot@hzd:/filebeat# lsdata filebeat.yml inputs.d modules.d

modules.d目录下的文件，可以在第一次启动的时候不挂载这个目录启动，启动后将modules.d里面的文件通过dockers cp 拷贝出来后，关闭容器取消注释再次启动

filbeat的配置文件

filebeat.inputs:# 第一个容器挂载目录日志收集配置- type: log #filestream id: filebeat-id paths: - /var/log/filebeat/* # 根据实际情况填写路径 fields: filebeat: true fields_under_root: true# 第二个容器挂载目录日志收集配置#system.hostfs: /root/logs- type: log enabled: true id: basic-log paths: - /var/log/basic-service/*.log # 根据实际情况填写路径 fields: service_name: basic-service fields_under_root: true第三个容器挂载目录日志收集配置- type: log enabled: true id: capp-log paths: - /var/log/capp-service/*.log # 根据实际情况填写路径 fields: servi