ELK学习笔记

Gukson666 · · 941 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

ELK 官方网站:https://www.elastic.co/products
相关概念:
  • Elasticsearch :分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。

  • Logstash :数据收集处理引擎。支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储以供后续使用。

  • Kibana :可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

  1. 项目中log4j2配置文件
     <?xml version="1.0" encoding="UTF-8"?>
     <configuration status="WARN" monitorInterval="30">
         <Properties>
             <Property name="LOG_HOME">logs</Property>
         </Properties>
         <appenders>
             <Console name="CONSOLE_OUT" target="SYSTEM_OUT">
                 <ThresholdFilter level="DEBUG" onMatch="ACCEPT" onMismatch="DENY" />
                 <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n"/>
             </Console>
             <Console name="CONSOLE_ERROR" target="SYSTEM_ERR">
                 <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY" />
                 <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n" />
             </Console>
             <Socket name="logStash" host="localhost" port="4567" protocol="TCP">
                 <PatternLayout charset="utf-8">
                     <pattern>[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-5level %logger{36}.%M - %msg%n</pattern>
                 </PatternLayout>
             </Socket>
         </appenders>
         <loggers>
             <root level="INFO">
                 <appender-ref ref="CONSOLE_OUT"/>
                 <appender-ref ref="CONSOLE_ERROR"/>
                 <appender-ref ref="logStash"/>
             </root>
         </loggers>
     </configuration>
    
  2. 搭建ElasticSearch
    • 解压
    • 修改配置文件 config/elasticsearch.yml
     cluster.name=es_cluster
     node.name=node0
     path.data=/tmp/elasticsearch/data
     path.logs=/tmp/elasticsearch/logs
     network.host=localhost
     network.port=9200
    
    • 运行: 点击elasticsearch.bat
    • 浏览器打开localhost:9200,看到有配置相关的信息就表示安装成功
  3. 搭建Logstash
    • 解压
    • 添加配置文件 config/test.conf
     input {
         tcp {
             host => "localhost"
             port => "4567"  # 与springBoot中的log4j的配置端口一致
         }
     }
     output {
         stdout {
             codec => rubydebug
         }
         elasticsearch {
             hosts => ["127.0.0.1:9200"]
             index => "analysis"
         }
     }
    
    • 安装plugins-inputs-tcp,默认识别log4j,为了识别log4j2,必须要安装插件
    bin/logstash-plugin list --verbose // 先查看是否安装过
    ./bin/logstash-plugin install logstash-input-tcp // 安装命令
    
    • 启动SpringBoot应用程序
    • 运行: ./bin/logstash -f ./config/test.conf
    • 浏览器打开localhost:9200/analysis/_search
Logstash补充:
  • Input:输入,输入数据可以是 File 、 Stdin(直接从控制台输入) 、TCP、Syslog 、Redis 、Collectd 等。

  • Filter:过滤,将日志输出成我们想要的格式。Logstash 存在丰富的过滤插件:Grok 正则捕获、时间处理、JSON 编解码、数据修改 Mutate 。

  • Output:输出,输出目标可以是 Stdout (直接从控制台输出)、Elasticsearch 、Redis 、TCP 、File 等。

  1. 搭建Kibana
  • 解压
  • 修改配置文件 config/kibana.yml
 server.port: 5601
 server.host: "127.0.0.1"
 elasticsearch.hosts: ["http://localhost:9200"]
  • 运行: ./bin/logstash -f ./config/test.conf
  • 浏览器打开localhost:5601
  • 新建索引 analysis (索引名不能有大写和特殊字符)
  • 根据索引筛选日志内容
补充:

当遇到 Logstash 接收数据的能力超过 Elasticsearch 集群处理能力的时候,就可以通过队列就能起到削峰填谷的作用, Elasticsearch 集群就不存在丢失数据的问题。使用比较多的两种消息队列为Kafka和Redis。主要从下面两个方面考虑:

  • 数据丢失:Redis 队列多用于实时性较高的消息推送,并不保证可靠。Kafka保证可靠但有点延时
  • 数据堆积:Redis 队列容量取决于机器内存大小,如果超过设置的Max memory,数据就会抛弃。Kafka 的堆积能力取决于机器硬盘大小。
EFK
  • Filebeat :轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。用 Golang 编写,无需依赖 Java 环境,效率高,占用内存和 CPU 比较少,非常适合作为 Agent 跑在服务器上。

如果日志的量很大,Logstash 会遇到资源占用高的问题,为解决这个问题就可以引入了Filebeat。

Filebeat的基本用法。编写配置文件,从 Nginx access.log 中解析日志数据:

# filebeat.yml
filebeat.prospectors:
- input_type: log
  paths: /var/log/nginx/access.log
  json.message_key:

output.elasticsearch:
  hosts: ["localhost"]
  index: "filebeat-nginx-%{+yyyy.MM.dd}"

通过应用实践发现,Filebeat 所消耗的CPU只有 Logstash 的70%,但收集速度为 Logstash 的7倍。从我们的应用实践来看,Filebeat 确实用较低的成本和稳定的服务质量,解决了 Logstash 的资源消耗问题。


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:Gukson666

查看原文:ELK学习笔记

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

941 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传