技术文章

Redis 5.0 部分源码剖析:AOF Rewrite 机制详解

本文来自大聚划算技术团队,从源码角度拆解 Redis 5.0 的 AOF Rewrite 完整流程,讲解触发方式、fork 子进程、父子进程分工、三道管道同步增量数据等核心原理,并对比提及 Redis 7.0 Multi Part AOF 的优化方向。

1
图片来源:1

前言

文中开篇以趣味引言引出 Redis 源码学习,点明核心主题为 Redis AOF Rewrite 流程,核心难点在于处理重写执行过程中新产生的增量数据。

AOF Rewrite 整体组成

Redis AOF Rewrite 依托子进程完成,核心组成包括:

  • 主进程与子进程,利用操作系统读时共享,写时复制机制;
  • 父子进程之间的三条通信管道;
  • 主进程数据结构:aof_buf、aof_rewrite_buf_blocks;
  • 子进程数据结构:aof_child_diff;
  • 两份 AOF 文件:正在使用的旧 AOF 文件、子进程生成的重写临时 AOF 文件。

AOF Rewrite 的触发方式

一共有三类触发场景:

  1. 自动触发:配置阈值,在 serverCron 后台定时任务中检查,满足键变更条件自动发起重写,触发时间存在一定浮动;
  2. 手动触发:客户端执行 bgrewriteaof 命令;
  3. 主从同步后自动触发:从节点和主节点同步 RDB 数据完成恢复后,重新开启 AOF 时执行一次重写。

fork 子进程与前置校验

触发重写后,Redis 先做校验:

  • 已有 AOF 重写子进程或 RDB 子进程运行时,拒绝本次重写;
  • 创建父子进程通信管道失败时,终止重写。

校验通过后执行 fork 创建子进程。 > 提示:fork 需要复制页表,该过程会阻塞 Redis,流量较高场景下容易造成 RT 上涨。

子进程工作流程

  1. 创建临时重写文件 temp-rewriteaof-{pid};
  2. 根据配置选择纯 AOF 模式或者 RDB 混合模式;
  3. 遍历数据库数据,将 fork 瞬间的存量数据写入临时文件;依靠写时复制保证读取到 fork 时刻稳定快照;
  4. 重写存量数据期间持续从管道读取主进程推送的增量变更,存入 aof_child_diff;
  5. 存量数据落盘完成后,限时读取增量数据:最多读取 1 秒,无新数据则等待 20ms 后停止读取;
  6. 通过管道通知主进程停止继续推送增量;收到主进程回执后,读取剩余管道内数据,追加写入临时文件,重命名文件并退出。

主进程工作流程

fork 之后主进程继续对外提供读写服务:

  1. 客户端写入命令正常执行,命令会转为 RESP 格式;
  2. 命令写入原有 aof_buf,持久到老 AOF 文件,保障重写失败时数据不丢失;
  3. 存在 AOF 重写子进程时,命令额外写入 aof_rewrite_buf_blocks,该结构由多个 10MB 的块组成;
  4. 满足条件时将 aof_rewrite_buf_blocks 内数据通过管道发给子进程;收到子进程停止推送通知后,新增量仅保留在 aof_rewrite_buf_blocks,不再往管道发送;
  5. 在 serverCron 中感知子进程退出,执行 backgroundRewriteDoneHandler 收尾:把 aof_rewrite_buf_blocks 残留增量追加到新重写文件,完成新旧 AOF 文件切换。

> 提示:aof_buf 和 aof_rewrite_buf_blocks 是两份独立缓存,重写阶段新增写入会带来双倍内存开销。

方案总结

Redis 5.0 AOF Rewrite 为保证增量数据顺序正确:

  • 使用两套内存结构保存增量:主进程 aof_rewrite_buf_blocks、子进程 aof_child_diff;
  • 两次磁盘写入:旧 AOF、新重写 AOF;
  • 三条通信管道协同同步;
  • 带来额外 CPU、内存开销。

Redis 7.0 的 Multi Part AOF 方案优化了这套冗余设计。

团队介绍

本文来自大聚划算技术团队。

  • 使命:让货品和心智运营变得高效且有确定性!
  • 愿景:与运营、产品合力,打造最具价格优惠心智的购物入口,最具爆发性的营销矩阵。
  • 职责:负责支持聚划算、百亿补贴、天天特卖等业务。聚焦优惠和选购体验,通过数智化驱动形成更有效率和确定性的货品运营方法论,为消费者提供精选和极致性价比的商品,为商家提供更具爆发确定性的营销方案。

拓展阅读

原文附带两篇拓展文章,为 http 链接,按照规则不在正文嵌入。

作者|时昼编辑|橙子君

← 返回新闻列表
CONTACT

从一次交流开始

安徽皖工之光科技有限公司

公司地址

安徽省合肥市瑶海区龙岗综合经济开发区包公大道 1 号瑶海都市科技工业园二期 8 号楼 507 室

下载宣传册 ↓