Flink 的增量检查点我刚接触那会儿其实挺不以为然的觉得不就是存个变更嘛能有多大名堂。直到线上有一次状态量到了几十 GB全量快照动不动就把备份存储撑爆、恢复慢得让人抓狂我才真正意识到增量检查点这套机制远比想象中精巧。这篇文章不打算做成官方文档的复读机而是从为什么需要它讲到它是怎么跑起来的再说说我在生产环境里踩过的坑。如果你正在用 RocksDB 状态后端、被 checkpoint 性能和存储成本折磨或者面试前想把这块原理捋清楚这篇应该能帮上忙。1. 全量快照的痛点与增量检查点的设计思路1.1 状态变大了之后问题就全来了先说结论Flink 增量检查点解决的是状态越来越大之后快照成本和恢复时间双双爆炸的问题。为什么会有这个问题因为默认情况下Flink 的检查点机制是全量快照也就是说每一次触发 checkpoint都会把当前所有算子的状态完整地拷贝一份到远端存储。假设你有一个状态量 50 GB 的作业每 5 分钟做一次全量快照每次快照要完整遍历一遍本地 RocksDB 里的所有 key序列化、传输、写入远端文件系统。即使网络和存储都很快一次快照花几十秒甚至几分钟都很正常更不用说多份快照在远端把磁盘空间堆到几百 GB。我见过一个极端案例作业状态峰值到过 200 GB 以上全量快照让备份目录空间告警频繁运维同学只能每天手动清理历史快照日子过得很刺激。恢复的时候更难受。如果从最近一次全量快照恢复要把几百 GB 的文件从远端拉回来、加载到本地 RocksDB整个过程的耗时基本在小时级别。对于一个追求分钟级 Failover 的实时链路来说这根本不可接受。所以在状态量小的阶段全量检查点完全够用可状态量一旦上去性能和成本两个维度的压力会同时涌过来。增量检查点就是在这个背景下被设计出来的既然每次全量拷贝太贵那就只存变化的部分。1.2 增量思路的落地只记录变化不重复拷贝增量检查点并不是像某些人想的那样对源数据做 diff它的核心逻辑是基于 RocksDB 的存储特性每次只备份自上次 checkpoint 以来发生变化的文件配合引用计数管理文件生命周期让同一个文件在多个检查点之间共享。这样带来的收益很明显备份体积大幅缩小因为大部分 SST 文件没有变不需要重新上传备份耗时也比全量快照低很多因为需要上传的数据量小了恢复的时候只需要把最近一个完整检查点链上的文件拼起来不用像全量快照那样从头拉取 200 GB 数据。但这套机制也带来一个新问题文件之间有依赖关系。一个检查点可能只包含几个新文件其他文件要依赖更早的检查点里的文件。所以恢复的时候不能只看恢复点那一次的快照而是要把一串快照串起来看。这个串起来的过程就是增量检查点最核心的复杂度所在。1.3 为什么一定要基于 RocksDB 状态后端需要强调一点增量检查点只在 RocksDB 状态后端下支持。MemoryStateBackend 和 FsStateBackend 根本走不了增量这条路。原因也很本质内存后端的状态是 Java 堆对象序列化之后整坨往外写谈不上什么文件级别的变化追踪FS 后端同样是把状态序列化成字节流每次快照都是重新生成完整文件区别只是写到哪里罢了。RocksDB 则完全不同。它的数据在本地落成多个 SST 文件这些文件是不可变的只有新建、删除、合并不会有原地修改。基于这个不可变性Flink 才能做到这次快照只上传新增的 SST 文件引用之前已经存在的老文件即可。理解了这一个关键点后面所有机制都能从这个逻辑里推导出来。2. 增量检查点的完整工作流程解析2.1 以 checkpoint 为单位的文件清单式快照增量检查点对每个 subtask 的备份在概念上可以理解成两个部分这次 checkpoint 自身产生的、独立的小快照以及一个共享文件清单。在实际实现里每一个 subtask 的 checkpoint 都会创建一个单独的备份目录里面存放属于这次 checkpoint 的新文件同时记录本次需要引用哪些共享文件。这里有个很容易混淆的点共享文件并不是复制到每个 subtask 的目录里而是通过引用计数来记数。一个 SST 文件可能被多个检查点引用只要还有一个检查点引用它它就不能被删除。当一个检查点因为过期被清理时它持有的引用会被释放引用计数归零的文件才会真正从存储里移除。我们用一个小例子来理解假设作业第一次 checkpoint 产生了 A、B 两个文件ID 为 1。第二次 checkpoint 时RocksDB 里 A 没变B 由于 Compaction 变成了 B1另外新增了 C那第二次 checkpoint 的备份里就只包含 B1 和 C 这两个新文件然后记录自己引用了 A。这样第二次快照的体积就比AB1C小得多。恢复时只要把第一次的 A 和第二次的 B1、C 拼接起来就能还原出完整状态。这里展示的就是增量检查点基本的时间线Chk-1: files [A, B] Chk-2: files [B1, C], reference [A] Chk-3: files [D], reference [A, B1, C]2.2 文件路径枚举与快照上传从本地到远端的移动为了生成上面这份文件清单Flink 在 checkpoint 时对 RocksDB 做了一个本地快照。RocksDB 本身提供了 Flush 和 Compaction 的钩子可以拿到当前所有 Live 的 SST 文件路径和文件号。Flink 的 RocksDBIncrementalSnapshot 策略就是借助 RocksDB 的 checkpoint API把当前 DB 的一致性视图暴露出来再枚举其中的文件路径对比上一次 checkpoint 记录的文件列表区分出新文件和已存在文件。这里有一个细节RocksDB 的 checkpoint API 是在同一个 RocksDB 实例上做硬链接或者拷贝Flink 为了不影响正常读写会先做一个轻量的本地 checkpoint 目录然后再对这个目录做文件遍历。这一步做完后新发现的文件会被逐个上传到远端存储配置的路径下上传成功后记录好路径和文件句柄。需要注意的是上传失败时整个 checkpoint 会失败下一次 checkpoint 会重试所以不会出现半截子文件被当成有效状态的情况。2.3 共享状态注册表与引用计数谁在管理文件的生命周期增量检查点引入了两个重要的组件概念SharedStateRegistry共享状态注册表和 SharedStateRegistry.Result。简单来说每个工作进程JobManager 和 TaskManager 侧都有里有一个注册表里面记录了所有共享文件当前被哪些 checkpoint 引用、引用计数是多少。当一个 checkpoint 完成时它里面携带的这些文件句柄会汇报给注册表。注册表会为每个文件维护引用计数同时返回给每个 checkpoint 一个折扣后的注册结果。如果某个 checkpoint 因为过期被清理它对应的注册项会被取消引用计数递减归零的文件再由清理器异步删掉。这套机制保证了多份检查点可以安全共享文件不会出现某文件被前一个 checkpoint 删除、后一个 checkpoint 还在依赖的尴尬情况。你可能会问直接不删文件全留着不行吗不行。那样磁盘还是会被堆满失去增量节省空间的意义。所以引用计数的实时性和正确性就是整个生命周期管理的核心一旦注册结果和实际文件数量对不上就会在恢复时爆出文件缺失的异常。3. 生产环境下的配置与实操要点3.1 开启增量检查点的具体配置参数开启增量检查点的方法在不同 Flink 版本里略有差异。在比较新的版本里最直接的方式是在 flink-conf.yaml 里设置execution.checkpointing.incremental: true如果是在代码里配置可以选择StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setStateBackend(new EmbeddedRocksDBStateBackend(true)); // true 代表开启增量检查点 env.enableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE);旧版本里还有一种写法是配置 state.backend.incremental不过在 1.13 之后这个选项逐渐废弃了优先使用 execution.checkpointing.incremental。这里需要特别提醒如果状态后端不是 RocksDB这个配置不会生效。遇到我配置了增量为什么还那么慢的问题时第一反应要去看 UI 上任务的状态后端类型。3.2 目录结构增量检查点在远端存储长什么样如果不看目录结构很难直观理解增量检查点的工作方式。以 HDFS 为例一个打开了增量的作业其检查点根目录下通常会有两类目录job 级别的共享目录shared和每个 subtask 自己的备份目录backup/chk-XXX。具体点说每个并发的 subtask 在执行增量 checkpoint 时会在检查点目录下创建一个类似chk-id/subtask-index的子目录里面存放该 subtask 新上传的 SST 文件。被多个检查点共享的文件则统一放在共享目录下路径可以是shared/job-id/key这类形式。恢复时Flink 会基于 checkpoint 元数据把共享文件和子任务专属文件组装回本地 RocksDB。我看过一些同学手动去翻检查点目录看到一堆文件名是 UUID 或数字后缀的文件完全看不出它们属于哪个 state容易被绕晕。这里有个小技巧检查点目录下的_metadata文件才是关键它记录了所有文件句柄、句柄类型、引用关系和状态元数据。你不需要去猜文件名直接看_metadata里的内容是排查问题最准确的方式。提示手动删除增量检查点的某个文件是很危险的操作。由于共享文件可能被多个 checkpoint 引用误删一个文件可能导致一串 checkpoint 失效。宁可让存储系统自动清理也不要手动去目录里删东西。3.3 与恢复机制配合的注意事项增量检查点恢复的时候有两个容易踩坑的细节。第一恢复并不只是找一个 checkpoint 的文件而是从目标 checkpoint 开始沿着 checkpoint 链向上追溯父 checkpoint直到把所需的文件都找到为止。所以如果某个父 checkpoint 被删除了而它里面的文件仍然被当前 checkpoint 依赖恢复就会失败或者报文件缺失。好在 Flink 在删除 checkpoint 时做了引用计数保护正常情况下不会出现这种问题但如果你用外部工具绕过 Flink 的清理逻辑就会踩雷。第二增量检查点恢复时本地 RocksDB 状态目录必须可以被清空重建。如果 TaskManager 的本地数据目录里还残留着旧的数据库实例文件而新恢复的 checkpoint 也要用同一套路径可能会因为文件锁或者目录冲突导致启动失败。遇到这种情况建议先确认 TaskManager 的 taskmanager.tmp.dirs 和 RocksDB 的工作目录没有交叉污染。4. 问题排查与调优经验实录4.1 常见问题速查表问题现象可能原因处理建议配置了增量但备份耗时不下降没走 RocksDB 状态后端或者旧版本参数不生效检查 UI 里的 State Backend 类型升级到 1.13 用新参数恢复时提示 state not found / file missing外部删了共享文件或保留的 checkpoint 数量过少检查保留历史之间的依赖查 _metadata 判断缺失文件属于哪个 chk增量 checkpoint 空间不释放多个 checkpoint 还在引用旧文件引用计数没归零确认 checkpoint 过期策略和保留数量配置是否正确上传慢导致 checkpoint 超时网络带宽打满或者上传并发数太高调整 taskmanager.network.memory 缓冲或者评估备份存储性能本地 RocksDB 目录冲突恢复时未清理旧库文件清理 taskmanager 本地数据目录后重启作业4.2 日志与 Metrics 的排查思路排查增量检查点问题时不建议一上来就翻源码先看三类信息能解决大部分疑惑。首先是 JobManager 日志里关于 checkpoint 完成时间的记录看耗时是分布在 Synchronization 阶段、Persisting 阶段还是各自 subtask 的上传阶段。如果是 Persisting 耗时百分比非常高大概率是上传慢或者文件数太多。其次是 TaskManager 日志里的 RocksDB 相关告警比如同步失败、文件锁异常等。第三就是 Metrics。Flink 1.15 之后提供了更丰富的 checkpoint 相关指标比如numberOfAbortedCheckpoints、persistDuration、checkpointStartDelay等。增量状态下可以额外关注lastCheckpointSize如果这个值长期接近全量文件大小说明 RocksDB 里 Compaction 产生了大量新文件增量效果就差。4.3 内存与 Compaction 相关调优增量检查点节省的是远端存储和时间但并没有让 RocksDB 的 Compaction 消失反而因为依赖文件不可变性Compaction 的频度和策略会直接影响每次增量的大小。简单说如果你的增量检查点每次都上传了很多文件大概率是 RocksDB 的 Compaction 过于频繁每次都有大量 SST 过期重写。调优的关键点有几个一是可以调大 rocksdb 的 min_write_buffer_number_to_merge 和 max_write_buffer_number让内存里的 memtable 多攒几个再落盘减少早期小文件的数量二是可以适当调大 target_file_size_base让最终落地的 SST 更大、数量更少这在状态量大时通常对增量更友好三是合理设置 write_buffer_size把内存指标和增量文件数做个平衡。不过需要提醒一句调大这些参数意味着单文件更大内存占用也会上去且 Compaction 的停顿可能影响延迟建议先在小流量或压测环境里验证稳定后再推到生产。我自己在某个 64 GB 堆内内存的任务上把 write_buffer_size 从 32 MB 调到了 64 MB发现增量文件数几乎少了一半但 failover 后本地加载耗时略有增加做了取舍才定下来。4.4 排查一个真实案例增量不生效有一次一个同事跟我反馈他们的作业开了增量检查点但检查点目录体积却持续线性增长。我第一反应是去看任务是否真的用了 RocksDB结果 UI 里显示的是 FsStateBackend原来是代码里 setStateBackend 的优先级覆盖了 flink-conf.yaml 里的配置。改回 RocksDB 并且显式开启增量后空间占用明显平稳下来。这类问题的排查路径也值得记录一下# 在 Flink UI 的 Task Managers 页面找到对应的 Task Manager 日志里搜 RocksDB grep -i rocksdb *.log日志里如果有RocksDBStateBackend相关的初始化信息说明用的确实是 RocksDB。除此之外还可以从检查点目录是否存在 shared 子目录来判断增量是否真正生效全量模式下不会出现这种共享目录。5. 个人实测经验与配置建议最后给出一份基于实战的配置模板适合大多数状态量中等偏上、希望降低检查点存储成本和生产故障恢复时间的作业参考。当然参数一定要结合真实业务去调这里只是一个起点state.backend: rocksdb execution.checkpointing.incremental: true execution.checkpointing.interval: 5min execution.checkpointing.min-pause: 1min execution.checkpointing.tolerable-failed-checkpoints: 3 state.backend.rocksdb.localdir: /data/flink/rocksdb state.backend.rocksdb.memory.managed: true state.backend.rocksdb.write-buffer-size: 64mb state.backend.rocksdb.target-file-size-base: 128mb这里的 min-pause 值挺重要如果设得太小连续触发 checkpoint 会抢占数据处理线程的资源反而影响吞吐。tolerable-failed-checkpoints 设成 3 是因为增量 checkpoint 偶尔会因为文件系统抖动失败一次给一点容忍度能减少作业重启频次但也不能太多否则故障恢复点太旧。我个人的体会是增量检查点不是一个开启就完事的功能它需要你理解文件引用、理解 RocksDB 行为并且在合适的时候打开和调整参数。调试阶段多看一眼检查点目录和日志生产之前压测一轮远远好过上线后被存储告警追着跑。整个机制最有意思的地方其实就是用引用计数 文件不可变这两条很简单的原理在巨型状态上换来了非常可观的性能收益。如果你正打算在一批大状态任务上把全量切换成增量建议先把其中一个低优先级任务调完观察几轮 checkpoint 的体积和耗时再决定是否铺开到核心链路。