Flink从入门到精通100篇（四）-基于 Flink 和 Drools 的实时日志处理

背景

日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志：

• filebeat采集到的文本日志，格式多样

• winbeat采集到的操作系统日志

• 设备上报到logstash的syslog日志

• 接入到kafka的业务日志

以上通过各种渠道接入的日志，存在2个主要的问题：

• 格式不统一、不规范、标准化不够

• 如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值

为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。

系统架构

架构比较简单，架构图如下：

各类日志都是通过kafka汇总，做日志中转。

flink消费kafka的数据，同时通过API调用拉取drools规则引擎&#

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/107150831