技术文章
Redis 5.0 部分源码剖析:AOF Rewrite 机制详解
本文来自大聚划算技术团队,从源码角度拆解 Redis 5.0 的 AOF Rewrite 完整流程,讲解触发方式、fork 子进程、父子进程分工、三道管道同步增量数据等核心原理,并对比提及 Redis 7.0 Multi Part AOF 的优化方向。

前言
文中开篇以趣味引言引出 Redis 源码学习,点明核心主题为 Redis AOF Rewrite 流程,核心难点在于处理重写执行过程中新产生的增量数据。
AOF Rewrite 整体组成
Redis AOF Rewrite 依托子进程完成,核心组成包括:
- 主进程与子进程,利用操作系统读时共享,写时复制机制;
- 父子进程之间的三条通信管道;
- 主进程数据结构:
aof_buf、aof_rewrite_buf_blocks; - 子进程数据结构:
aof_child_diff; - 两份 AOF 文件:正在使用的旧 AOF 文件、子进程生成的重写临时 AOF 文件。
AOF Rewrite 的触发方式
一共有三类触发场景:
- 自动触发:配置阈值,在
serverCron后台定时任务中检查,满足键变更条件自动发起重写,触发时间存在一定浮动; - 手动触发:客户端执行
bgrewriteaof命令; - 主从同步后自动触发:从节点和主节点同步 RDB 数据完成恢复后,重新开启 AOF 时执行一次重写。
fork 子进程与前置校验
触发重写后,Redis 先做校验:
- 已有 AOF 重写子进程或 RDB 子进程运行时,拒绝本次重写;
- 创建父子进程通信管道失败时,终止重写。
校验通过后执行 fork 创建子进程。 > 提示:fork 需要复制页表,该过程会阻塞 Redis,流量较高场景下容易造成 RT 上涨。
子进程工作流程
- 创建临时重写文件
temp-rewriteaof-{pid}; - 根据配置选择纯 AOF 模式或者 RDB 混合模式;
- 遍历数据库数据,将 fork 瞬间的存量数据写入临时文件;依靠写时复制保证读取到 fork 时刻稳定快照;
- 重写存量数据期间持续从管道读取主进程推送的增量变更,存入
aof_child_diff; - 存量数据落盘完成后,限时读取增量数据:最多读取 1 秒,无新数据则等待 20ms 后停止读取;
- 通过管道通知主进程停止继续推送增量;收到主进程回执后,读取剩余管道内数据,追加写入临时文件,重命名文件并退出。
主进程工作流程
fork 之后主进程继续对外提供读写服务:
- 客户端写入命令正常执行,命令会转为 RESP 格式;
- 命令写入原有
aof_buf,持久到老 AOF 文件,保障重写失败时数据不丢失; - 存在 AOF 重写子进程时,命令额外写入
aof_rewrite_buf_blocks,该结构由多个 10MB 的块组成; - 满足条件时将
aof_rewrite_buf_blocks内数据通过管道发给子进程;收到子进程停止推送通知后,新增量仅保留在aof_rewrite_buf_blocks,不再往管道发送; - 在
serverCron中感知子进程退出,执行backgroundRewriteDoneHandler收尾:把aof_rewrite_buf_blocks残留增量追加到新重写文件,完成新旧 AOF 文件切换。
> 提示:aof_buf 和 aof_rewrite_buf_blocks 是两份独立缓存,重写阶段新增写入会带来双倍内存开销。
方案总结
Redis 5.0 AOF Rewrite 为保证增量数据顺序正确:
- 使用两套内存结构保存增量:主进程
aof_rewrite_buf_blocks、子进程aof_child_diff; - 两次磁盘写入:旧 AOF、新重写 AOF;
- 三条通信管道协同同步;
- 带来额外 CPU、内存开销。
Redis 7.0 的 Multi Part AOF 方案优化了这套冗余设计。
团队介绍
本文来自大聚划算技术团队。
- 使命:让货品和心智运营变得高效且有确定性!
- 愿景:与运营、产品合力,打造最具价格优惠心智的购物入口,最具爆发性的营销矩阵。
- 职责:负责支持聚划算、百亿补贴、天天特卖等业务。聚焦优惠和选购体验,通过数智化驱动形成更有效率和确定性的货品运营方法论,为消费者提供精选和极致性价比的商品,为商家提供更具爆发确定性的营销方案。
拓展阅读
原文附带两篇拓展文章,为 http 链接,按照规则不在正文嵌入。
作者|时昼编辑|橙子君
← 返回新闻列表
