这周要开始做埋点日记的分析,初步调研后,准备用filebeat+logstash+mongodb来做。
基于golang写的filebeat比较轻量,解压后就可以直接用了,而logstash还有好多依赖要装,所以毫不犹豫就选择用docker来部署。
因为是现学现用,时间也有些紧,再加上完全是新手入门,看到文档Configuaring Logstash for Docker中Bind-mounted settings files这段后,
就自己定义了一个logstash.yml
input{
beats {
port => 5044
}
}
output{
mongodb {
uri => "mongodb://localhost:27017"
database => "spot_logs"
collection => "raw_data"
}
}
心想着这样通过volume挂进去就可以用了。
docker run --rm -it -v ./logstash.yml:/usr/share/logstash/config/logstash.yml docker.elastic.co/logstash/logstash:7.2.0
然后,悲剧开始了~~~
首先,我定义的其实是一个.conf文件,而不是logstash.yml。
于是,刚一启动就报错了。
当我经过一番搜索,知道这其实是一个conf文件后,就直接改把它的后缀名改成了.conf,然后执行了
docker run --rm --network host -it -v ./logstash.conf:/usr/share/logstash/config/logstash.conf docker.elastic.co/logstash/logstash:7.2.0
然后,“奇迹发生”了~~filebeat发过来日志,logstash都能收到,而且还打印了出来(好神奇,那可是我第一次跑通filebeat+logstash),但是还没开心1分钟,就发现mongodb里根本没数据。
然后,没有方向的我,开始了一通乱试(略去不表,其实都是泪),白白耗费了一个下午加晚上也没找到原因(那时真是心情沉重,想着这个sprint估计有点难交差了!)。
回到家后,洗了澡,重新开始思考这个问题的时候,我突然意识到,可能我设置的配置根本就不起作用,现在的行为没准是logstash镜像的默认行为。(在时间压力下,现学现用,很容易钻牛角尖,这时暂停下来,平静心情,换个思路很重要!)
查了一下logstash官方的dockerfile也没发现什么,到是在一篇搜索到文章中,发现可能是e受容器里的pipelines.yml的影响。
当我打开容器里的/usr/share/logstash/config/pipelines.yml的时候,看见:
- pipeline.id: main
path.config: "/usr/share/logstash/pipeline"
再打开
/usr/share/logstash/pipeline,看到:
input {
beats {
port => 5044
}
}
output {
stdout {
codec => rubydebug
}
}
真是一口老血喷出来~心想好坑呀,隐藏的这么深!
于是,仿造这个pipelines.yml,也写了个pipelines.yml,把config指向自己的配置。
- pipeline.id: main
path.config: "/usr/share/logstash/config/logstash.conf"
pipeline.workers: 3
再挂载进docker启动后,看到mongodb的报错信息后,就知道自己的设置终于生效了。
报错的原因,是因为logstash-output-mongodb这个output默认是没有的,需要自己装好,解决方法也很简单,自定义一个dockerfile,做一个安装好logstash-output-mongodb的镜像就好。
同时,在这里我也把自己写的放在config文件里的pipelines.yml和logstash.conf拷了进去,具体内容如下;
FROM docker.elastic.co/logstash/logstash:7.2.0
RUN rm -f /usr/share/logstash/pipeline/logstash.conf
COPY ./config/ /usr/share/logstash/config/
RUN logstash-plugin install logstash-output-mongodb
然后运行:
docker build -f logstash.dockerfile -t mine/logstash:1.0
最后定义了一个docker-compose.logstash.yml文件:
version: '3'
services:
logstash:
image: mine/logstash:1.0
restart: always
container_name: finxos_logstash
network_mode: 'host'
volumes:
- "$PWD/config/logstash.conf:/usr/share/logstash/config/logstash.conf"
depends_on:
- mongodb
mongodb:
image: mongo:4.0
restart: always
container_name: finxos_mongodb
volumes:
- "$PWD/mongodb_data:/data/db"
network_mode: 'host'
这样就可以通过下面的命令一键启动了。
docker-compose -f docker-compose.logstash.yml up
写在最后
在下笔前,我是心想着写下自己的踩坑经验,估计会对他人有用。
但是写着的时候,才发现我觉得很坑的默认行为,其实在Configuaring Logstash for Docker的Pipeline Configuration章节里有提到。
而当时的我急着赶紧用起来,看到Pipeline也不知道是干什么的(其实现在也不是很清楚),就直接跳到Settings章节了。
真的是要好好看文档!抓住重要信息呀!
但是再一想,即再来一次,以当时的我刚刚接触filebeat+logstash, docker也好久不用了的状态,还面临着完成业务需求的紧迫感,大概率还是会略过这段。
现学现用,真的很痛苦!
这期间,关键是要准确的定位问题,然后逢山开路,遇水搭桥,其实也不失为一次蜕变的体验!
而关键的关键在于,要相信自己最终还是会搞定的。
github.io:logstash docker部署的踩坑笔记
有疑问加站长微信联系(非本文作者)