flink 规则引擎技术实现

王龙江 发表于

当前有两类实时任务需要频繁重启：第一类任务是，实时报表新增维度，此类任务中，Flink 消费 Kafka 实时数据，处理后按照维度聚合，使用聚合函数计算出指标后写入 StarRocks ；第二类任务是实时 ETL 任务，此类任务中，Flink 消费 Kafka 实时数据，经过字段提取、数据过滤再将结果回写 Kafka。这两类实时任务加字段（维度）需求较频繁、需求重复度高、需要重启程序，影响数据的准确性、及时性以及迭代速度较慢。因此，我们实现了基于配置化的方式，在不重启作业的情况下，快速满足新增字段（维度）的需求。…

Flink 数据处理通用代码开发

王龙江 发表于

Flink 在七猫大数据发展过程中，一直扮演着重要角色。Flink 作为实时计算引擎，经历了多个发展阶段，实时计算平台也在不断地迭代完善。在七猫内部，主要以 Flink Jar 包任务为主，并逐步引入 Flink Sql ，不断的降低了使用门槛和提高了任务的开发效率；从起初基础的 Flink 任务开发，发展到跨网络、跨云厂商的任务多版本任务开发，满足了业务发展的需求。…