写在前面

　　ELK三剑客（ElasticSearch，Logstash，Kibana）基本上可以满足日志采集、信息处理、统计分析、可视化报表等一些日志分析的工作，但是对我们来说……太重了，并且技术栈不是一路的。我们的场景是需要采集各个业务部门服务器上面的各个业务系统，所以尽量不要影响到服务器的性能，以侵入性最低的方式进行采集，不做其他多余操作。因而，在前端日志采集这块，对比其他Logstash、Flume等采集工具之后，决定采用轻量的Filebeat作为日志采集工具，Filebeat采用go开发，运行不需要额外部署环境，相比Flume依赖jdk轻量了不少，且占用内存低。

　　采集链路如下所示：Filebeat日志采集、处理转换之后，推送到kafka，采用Clickhouse的kafka引擎进行消费存储。因而，我暂且称之为KFC

版权声明：本文为EminemJK原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/EminemJK/p/15165961.html