9.3 Redis持久化

Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时，利用之前持久化的文件即可实现数据恢复。

RDB

把当前进程数据生成快照保存到硬盘的过程，触发分为手动和自动

触发机制

手动触发

save命令：阻塞当前redis服务器，直到RDB完成为止，对应内存比较大的实例影响非常大，不建议使用

bgsave命令：redis进程执行fork操作创建子进程，rdb持久化过程由子进程负责，阻塞只发生在fork阶段，一般时间很短

自动触发

1.使用save相关配置save m n 标识m秒内，数据存在n次修改，自动触发bgsave

2.从节点全量复制时也是执行bgsave

3.debug reload命令加载redis时，也会触发save操作

4.执行shutd操作时

触发流程

 

 

1.执行bgsave，redis父进程会判断当前是否存在正在执行的子进程，存在就直接返回
2.父进程fork子进程，过程中父进程会发生阻塞，通过info stats 的latest_fork_usec可以获取最近一次fork操作耗时，单位为微秒
3.fork完成后，返回background saving started，阻塞完毕，
4.子进程创建rdb文件，根据父进程内存生成临时快照文件，对原文件进行院子替换，执行lastsave可以获取最后一次生成rdb的时间（info命令的rdb_last_save_time）
5.进程给父进程发送信号完成，父进程更新统计信息

RDB优缺点

优点：
rdb是一个紧凑压缩的二进制文件，代表redis某个时间点的数据快照
适合用于备份
redis加载rdb恢复数据远远快于aof方式
缺点：
没有办法做到实时持久化
各个版本之间的rdb存在兼容问题

copy-on-write

fork()会产生一个和父进程完全相同的子进程(除了pid)exec函数的作用就是：装载一个新的程序（可执行映像）覆盖当前进程内存空间中的映像，从而执行不同的任务。

如果按传统的做法，会直接将父进程的数据拷贝到子进程中，拷贝完之后，父进程和子进程之间的数据段和堆栈是相互独立的。
但是，以我们的使用经验来说：往往子进程都会执行exec()来做自己想要实现的功能。

所以，如果按照上面的做法的话，创建子进程时复制过去的数据是没用的(因为子进程执行exec()，原有的数据会被清空)

既然很多时候复制给子进程的数据是无效的，于是就有了Copy On Write这项技术了，原理也很简单：

fork创建出的子进程，与父进程共享内存空间。也就是说，如果子进程不对内存空间进行写入操作的话，内存空间中的数据并不会复制给子进程，这样创建子进程的速度就很快了！(不用复制，直接引用父进程的物理空间)。
并且如果在fork函数返回之后，子进程第一时间exec一个新的可执行映像，那么也不会浪费时间和内存空间了。

当父子进程中有更改相应段的行为发生时，再为子进程相应的段分配物理空间。

AOF：（append only file）

AOF以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令达到恢复数据的目的

AOF主要作用是解决了数据持久化的实时性，目前是Redis持久化的主流方式

appendonly yes

appendfilename appendonly.aof

AOF的工作流程操作

命令写入：append

文件同步：sync

文件重写：rewrite

重启加载：load

流程：

1.所有的写入命令会追加到aof_buf中

2.AOF缓冲区根据对应的策略向磁盘做同步操作

3.定期对AOF文件重写，达到压缩目的

4.redis重启后，加载AOF文件进行数据恢复

命令写入：直接使用文本协议格式追加

为什么写入aof_buf

1.单线程，如果每次都写入，性能完全取决于硬盘

2.提供多种缓冲区同步硬盘的策略

3.性能和安全性做出平衡

文件同步

appendsync　　参数控制

always　　每次写入都要同步aof文件，安全，慢

everysync　　每秒同步一次，默认配置，理论上只有在系统宕机时丢失1S数据

no　　使用操作系统复制同步硬盘，快，安全性没保证，最多30s同步

重写机制

 

 流程说明

1.执行AOF重写请求
2.父进程执行fork创建子进程，开销等同于bgsave
3.1 主进程fork操作完成后，继续接受响应请求
所有修改命令依然写入aof_buf
并根据同步策略同步硬盘，保证原AOF机制正确性
3.2 fork 利用写时复制技术，子进程只能共享fork操作时的内存数据
由于父进程依然响应命令，redis使用aof重写缓冲区保存这部分新数据
防止新aof文件生成期间丢失这部分数据
4.子进程根据内存快照，按照命令合并规则写入新的aof，批量
5.1 aof写入完成之后，通知父进程
5.2 父进程把aof重写缓冲区的数据写入新的aof文件
5.3 使用新aof文件替换老文件，完成aof重写

案例

触发机制：当AOF文件大小是上次重写后大小的一倍且文件大于64M时触发

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb2

AOF重写之后文件为什么会变小？

1.进程内已经超时的数据 不再写入文件

2.旧的aof文件中无效的命令，类似于del 操作。重写使用进程内数据直接生成。这样新的aof文件只保留数据的写入命令（类似于事务日志）

3.多条命令可以合并为一个（100次插入，可以直接 set key 100）