ELK学习笔记

ELK 官方网站：https://www.elastic.co/products

相关概念：

• Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。

• Logstash ：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。

• Kibana ：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

1. 项目中log4j2配置文件

    <?xml version="1.0" encoding="UTF-8"?>
    <configuration status="WARN" monitorInterval="30">
        <Properties>
            <Property name="LOG_HOME">logs</Property>
        </Properties>
        <appenders>
            <Console name="CONSOLE_OUT" target="SYSTEM_OUT">
                <ThresholdFilter level="DEBUG" onMatch="ACCEPT" onMismatch="DENY" />
                <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n"/>
            </Console>
            <Console name="CONSOLE_ERROR" target="SYSTEM_ERR">
                <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY" />
                <PatternLayout charset="utf-8" pattern="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%pid] [%thread] %-5level %logger{36}.%M - %msg%n" />
            </Console>
            <Socket name="logStash" host="localhost" port="4567" protocol="TCP">
                <PatternLayout charset="utf-8">
                    <pattern>[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-5level %logger{36}.%M - %msg%n</pattern>
                </PatternLayout>
            </Socket>
        </appenders>
        <loggers>
            <root level="INFO">
                <appender-ref ref="CONSOLE_OUT"/>
                <appender-ref ref="CONSOLE_ERROR"/>
                <appender-ref ref="logStash"/>
            </root>
        </loggers>
    </configuration>
   

2. 搭建ElasticSearch
   • 解压
   • 修改配置文件 config/elasticsearch.yml

    cluster.name=es_cluster
    node.name=node0
    path.data=/tmp/elasticsearch/data
    path.logs=/tmp/elasticsearch/logs
    network.host=localhost
    network.port=9200
   

   • 运行： 点击elasticsearch.bat
   • 浏览器打开localhost:9200，看到有配置相关的信息就表示安装成功
3. 搭建Logstash
   • 解压
   • 添加配置文件 config/test.conf

    input {
        tcp {
            host => "localhost"
            port => "4567"  # 与springBoot中的log4j的配置端口一致
        }
    }
    output {
        stdout {
            codec => rubydebug
        }
        elasticsearch {
            hosts => ["127.0.0.1:9200"]
            index => "analysis"
        }
    }
   

   • 安装plugins-inputs-tcp，默认识别log4j，为了识别log4j2，必须要安装插件

   bin/logstash-plugin list --verbose // 先查看是否安装过
   ./bin/logstash-plugin install logstash-input-tcp // 安装命令
   

   • 启动SpringBoot应用程序
   • 运行： ./bin/logstash -f ./config/test.conf
   • 浏览器打开localhost:9200/analysis/_search

Logstash补充：

• Input：输入，输入数据可以是 File 、 Stdin（直接从控制台输入） 、TCP、Syslog 、Redis 、Collectd 等。

• Filter：过滤，将日志输出成我们想要的格式。Logstash 存在丰富的过滤插件：Grok 正则捕获、时间处理、JSON 编解码、数据修改 Mutate 。

• Output：输出，输出目标可以是 Stdout （直接从控制台输出）、Elasticsearch 、Redis 、TCP 、File 等。

4. 搭建Kibana

• 解压
• 修改配置文件 config/kibana.yml

 server.port: 5601
 server.host: "127.0.0.1"
 elasticsearch.hosts: ["http://localhost:9200"]

• 运行： ./bin/logstash -f ./config/test.conf
• 浏览器打开localhost:5601
• 新建索引 analysis (索引名不能有大写和特殊字符)
• 根据索引筛选日志内容

补充：

当遇到 Logstash 接收数据的能力超过 Elasticsearch 集群处理能力的时候，就可以通过队列就能起到削峰填谷的作用， Elasticsearch 集群就不存在丢失数据的问题。使用比较多的两种消息队列为Kafka和Redis。主要从下面两个方面考虑:

• 数据丢失：Redis 队列多用于实时性较高的消息推送，并不保证可靠。Kafka保证可靠但有点延时
• 数据堆积：Redis 队列容量取决于机器内存大小，如果超过设置的Max memory，数据就会抛弃。Kafka 的堆积能力取决于机器硬盘大小。

EFK

• Filebeat ：轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。用 Golang 编写，无需依赖 Java 环境，效率高，占用内存和 CPU 比较少，非常适合作为 Agent 跑在服务器上。

如果日志的量很大，Logstash 会遇到资源占用高的问题，为解决这个问题就可以引入了Filebeat。

Filebeat的基本用法。编写配置文件，从 Nginx access.log 中解析日志数据:

# filebeat.yml
filebeat.prospectors:
- input_type: log
  paths: /var/log/nginx/access.log
  json.message_key:

output.elasticsearch:
  hosts: ["localhost"]
  index: "filebeat-nginx-%{+yyyy.MM.dd}"

通过应用实践发现，Filebeat 所消耗的CPU只有 Logstash 的70%，但收集速度为 Logstash 的7倍。从我们的应用实践来看，Filebeat 确实用较低的成本和稳定的服务质量，解决了 Logstash 的资源消耗问题。

有疑问加站长微信联系（非本文作者）