flink CheckPoint barrier 非对齐机制

flink CheckPoint barrier 非对齐机制(UC)

对齐检查点和非对齐检查点直接的区别

1. 对齐检查点是最后一个屏障到达算子的时候触发，非对齐检查点是在第一个屏障到达算子的时候就触发
2. 对齐检查点在第一个屏障到达最后一个屏障到达的区间内是堵塞的，非对齐检查点不需要堵塞

但是在反压正常的时候使用非对齐机制的检查点是有风险的
在反压严重的时候使用对齐机制的检查点是有风险的
所以我们其他可以在配置中设置在对齐检查点超时时自动切换到非对齐检查点

execution.checkpointing.aligned-checkpoint.timeout: 10m
execution.checkpointing.unaligned-checkpoint.enabled: true

非对齐检查点的问题

非对齐检查点可以导致重复处理或者数据丢失
可能导致无法重启
Data Buffer写入大量小文件，导致DataNode压力过大