Flink 流处理入门实战:从 DataStream API 到窗口与状态管理
Flink 流处理入门实战:从 DataStream API 到窗口与状态管理
一、流处理与批处理的区别
传统批处理是把数据攒成一批,然后一次性算完,Hive、Spark SQL 都是这个思路。它的前提是数据已经落盘、不会再变,代价是延迟高——今天的数据往往要等到明天才能看到结果。流处理则把数据看成一条永不停止的河流,来一条算一条,延迟可以压到毫秒级。实时大屏、实时风控、实时推荐这些场景,背后基本都是流处理。
Flink 是流处理领域的主流框架,它的核心主张是「批是流的特例」:有界流就是批处理,无界流才是真正的实时处理,二者用同一套引擎和 API。这个统一模型带来了两个直接好处:一套代码既能跑实时也能跑离线回溯,以及原生的事件时间支持——后者是 Flink 相比其他框架最突出的优势。
二、几个绕不开的时间概念
事件时间 Event Time:数据本身携带的发生时间,比如日志里的 timestamp 字段。这是业务真正关心的时间。
处理时间 Processing Time:数据到达 Flink 算子的机器时间。它简单、延迟低,但一旦数据乱序或处理卡顿,结果就不准。
摄入时间 Ingestion Time:数据进入 Flink 的时间,介于两者之间,用得较少。
现实里数据几乎总是乱序到达的:网络抖动、上游重试、多分区并行,都会让后发生的数据先到。如果按处理时间算窗口,结果会随到达顺序变化,不可复现。Flink 的解法是事件时间加水印 Watermark——它告诉系统「事件时间已经推进到某个点,更早的数据基本不会再来了」,窗口据此触发计算。
三、第一个 DataStream 程序
先引入 flink-java、flink-streaming-java 依赖,然后写一个统计单词的流程序:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = env.socketTextStream("localhost", 9999);
DataStream<Tuple2<String, Integer>> counts = text
.flatMap(new MyTokenizer())
.keyBy(value -> value.f0)
.sum(1);
counts.print();
env.execute("WordCount");
先在本机开一个 socket:nc -lk 9999,然后运行程序,往 socket 里敲单词,控制台会持续输出累计计数。这个例子虽然简单,但已经包含了流处理的标准骨架:Source(数据来源)→ Transformation(转换)→ Sink(输出)。后面所有的复杂度,都是在这个骨架上叠加。
四、窗口:把无界流切成有界块
流是无限的,聚合却要有边界,窗口就是切分工具。常用的有四类:
滚动窗口 Tumbling Window:固定长度、不重叠,比如每 5 分钟统计一次。适合出固定粒度的报表。
滑动窗口 Sliding Window:固定长度、有重叠,比如每 1 分钟统计最近 5 分钟。适合做平滑的趋势指标。
会话窗口 Session Window:按活动间隔切分,超过指定时间没有新数据就关闭窗口。适合分析用户一次访问的完整行为。
计数窗口 Count Window:按数据条数切分,满 N 条触发一次。用得相对少。
代码上,先 keyBy 再 window:
.keyBy(value -> value.f0)
.window(TumblingEventTimeWindows.of(Time.minutes(5)))
.sum(1);
注意用事件时间窗口时,必须同时指定 Watermark 策略,否则窗口永远不知道何时触发。
五、水印与乱序处理
给数据源分配时间戳和水印:
WatermarkStrategy<MyEvent> strategy = WatermarkStrategy
.<MyEvent>forBoundedOutOfOrderness(Duration.ofSeconds(5))
.withTimestampAssigner((event, ts) -> event.getTimestamp());
DataStream<MyEvent> stream = source.assignTimestampsAndWatermarks(strategy);
forBoundedOutOfOrderness 里的 5 秒是容忍的乱序程度:水印表示「5 秒之前的数据应该都到齐了」。这个值越大,结果越准,但输出延迟越高;越小则延迟低,但晚到的数据可能被丢掉。这是实时系统里典型的准确性与延迟的权衡,没有通用答案,要靠观察业务数据的实际乱序分布来定。
对于实在晚到太多的数据,可以用 allowedLateness 允许窗口在水印关闭后再等一段时间,期间每来一条晚到数据就重新触发一次计算;超出期限的则通过 sideOutputLateData 输出到侧流单独处理,不要直接丢掉。
六、状态管理:记住之前发生了什么
无状态计算只看到当前一条数据;要做去重、累计、连续登录检测这类事情,就必须记住历史,这就是状态 State。Flink 的状态由它自己托管,支持本地恢复和快照,不用业务代码自己维护外部存储。
键控状态 Keyed State 是最常用的,它和 keyBy 绑定,常见的有 ValueState(存单值)、ListState(存列表)、MapState(存键值对)。比如统计每个用户的连续登录天数:
ValueState<Integer> days = getRuntimeContext().getState(
new ValueStateDescriptor<>("login-days", Integer.class));
int current = days.value() == null ? 0 : days.value();
days.update(event.isLogin() ? current + 1 : 0);
还有一类是检查点 Checkpoint,它是 Flink 容错的核心。系统定期对状态做一致性快照存到可靠存储(如 HDFS、S3),任务失败时从最近一次检查点恢复,做到 exactly-once。开启方式:
env.enableCheckpointing(60000);
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
60 秒是快照间隔,越短恢复越快,但快照本身的开销越大,需要按业务对恢复时间和吞吐的要求调整。
七、常见坑
第一,keyBy 的字段选择直接决定并行度和状态分布。如果某个 key 的数据量远超其他 key(数据倾斜),那个子任务会成为瓶颈,表现为某个并行度 CPU 打满、其余空闲。解决思路是给 key 加随机前缀做两阶段聚合。
第二,事件时间窗口忘记设水印,是最常见的「程序不报错但没结果」的原因。先检查水印是否推进,再看窗口是否触发。
第三,状态会一直增长。如果没有设置 TTL,按 key 存储的状态可能无限膨胀,最终把 TaskManager 内存撑爆。对有时间性的状态(比如用户 7 天内的行为)要配置 StateTtlConfig 自动清理。
第四,并行度改动后无法从旧检查点恢复。检查点里的状态是按并行度分区的,改了并行度要么用 Savepoint 重新分配,要么接受从零开始。
八、小结
Flink 入门的关键路径是:先用 DataStream API 跑通一个 Source → 转换 → Sink 的完整链路,再理解窗口如何把无界流切块,然后搞懂事件时间和水印怎样保证乱序数据的正确性,最后掌握状态与检查点如何实现有状态计算和容错。这条链路走下来,再看 Flink SQL 或 CDC 这类上层工具,会发现它们都建立在同样的时间语义和状态机制之上,学起来顺理成章。
- 点赞
- 收藏
- 关注作者
评论(0)