一张图说清楚Flink水印和Lateness
真传一句话,假言万卷书。
Flink使用窗口与水印处理乱序问题,使用Latenss处理延迟问题,二者混合使用可以满足很多复杂场景的需求
当Watermark大于窗口结束时间时,会触发窗口内的元素进行计算并缓存起来,随着Watermark增长,当Watermark >窗口结束时间 + Lateness时,触发二次窗口计算并清空缓存,计算时要注意状态值的重复问题
真传一句话,假言万卷书。
Flink使用窗口与水印处理乱序问题,使用Latenss处理延迟问题,二者混合使用可以满足很多复杂场景的需求
当Watermark大于窗口结束时间时,会触发窗口内的元素进行计算并缓存起来,随着Watermark增长,当Watermark >窗口结束时间 + Lateness时,触发二次窗口计算并清空缓存,计算时要注意状态值的重复问题