大数据 Flink 教程之使用 Apache Flink 进行无服务器复杂事件处理

什么是 Apache Flink？

Flink 是一个分布式处理引擎，能够对数据流进行大规模的内存计算。数据流是一系列事件，例如来自单个或多个来源的事务、网站上的用户交互、应用程序日志等。流通常可以有两种类型：有界或无界。有界流具有定义的开始和结束，而无界流一旦开始，就没有定义的结束。Flink 能够处理具有超可扩展性和状态管理的两种流类型。

为什么要使用 Flink？

Flink 的一些常见用例可以分为三大类：事件驱动应用程序、数据分析、数据管道（ETL 工作负载）。

• 驱动应用程序：在某些事件发生时使用状态构建反应式应用程序被归类为事件驱动应用程序。有状态的应用程序处理是 Flink 的核心特性之一。假设您想根据来自多个来源的某些事件生成通知/警报，Flink 允许您通过维护内部状态来实现，以便关联事件并确定是否需要发送警报或不是。

• 数据分析：使用 Flink 可以通过实时收集原始数据中的洞察来分析模式。考虑一个网络监控系统，它通过实时消费地理分布的事件来检测异常值。对负面影响做出反应可以迅速减少系统停机时间，否则系统将被证明是灾难性的。

• Flink 还支持强大的CEP（复杂事件处理）库，可用于事件流的模式匹配。凭借每天以超高速处理数万亿个事件的能力，在 Flink 层内可以实现的目标没有限制。