Redis 持久化

相关配置

port 6379
daemonize yes
logfile "6379.log"
dir /data
dbfilename dump-6379.rdb
rdbcompression yes
rdbchecksum yes
stop-writes-on-bgsave error yes

手动保存操作

# 会阻塞 redis 进程
save

# 合适的时候后台执行，fork 函数开启子进程去执行持久化操作
bgsave

# 服务器运行过程中重启
debug reload

# 关闭服务器时指定保存数据
shutdowm save

自动保存

# 满足限定时间范围内 key 的变化数量达到指定数量即进行持久化，使用的 bgsave 方式，不影响主进程
# second：监控时间范围，changes：监控key的变化量
save second changes

RDB

优点

• RDB 是一个紧凑压缩的二进制文件，存储效率较高
• RDB 内部存储的是 redis 在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景
• RDB 恢复数据的速度要比 AOF 快很多
• 应用：服务器中每 X 小时执行 bgsave 备份，并将 RDB 文件拷贝到远程机器中，用于灾难恢复

缺点

• RDB 方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据
• bgsave 指令每次运行要执行 fork 操作创建子进程，要牺牲掉一些性能。基于 fork 创建子进程，内存产生额外消耗
• Redis 的众多版本中未进行 RDB 文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象
• 存储数据量较大，效率较低基于快照思想，每次读写都是全部数据，当数据量巨大时，效率非常低
• 大数据量下的 IO 性能较低
• 宕机带来的数据丢失风险

AOF 概念

AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行 AOF 文件中命令达到恢复数据的目的。与 RDB 相比可以简单描述为改记录数据为记录数据产生的过程

AOF 的主要作用是解决了数据持久化的实时性，目前已经是 Redis 持久化的主流方式

AOF 配置

# 是否开启AOF持久化功能，默认为不开启状态
appendonly yes | no

# AOF 写数据策略
# always(每次)，每次写入操作均同步到AOF文件中，数据零误差，性能较低，不建议使用。
# everysec(每秒)，每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高，建议使用，也是默认配置在系统突然宕机的情况下丢失1秒内的数据
# no(系统控制)，由操作系统控制每次同步到AOF文件的周期，整体过程不可控
appendfsync always | everysec | no

# AOF 持久化文件名，默认文件名未 appendonly.aof，建议配置为 appendonly-端口号.aof
appendfilename filename
# AOF 持久化文件保存路径，与 RDB 持久化文件保持一致即可
dir

AOF 重写

随着命令不断写入 AOF，文件会越来越大，为了解决这个问题，Redis 引入了 AOF 重写机制压缩文件体积。

AOF 文件重写是将 Redis 进程内的数据转化为写命令同步到新 AOF 文件的过程。简单说就是将对同一个数据的若干个条命令执行结果转化成最终结果数据对应的指令进行记录。

作用

• 降低磁盘占用量，提高磁盘利用率
• 提高持久化效率，降低持久化写时间，提高O性能
• 降低数据恢复用时，提高数据恢复效率

重写规则

• 进程内已超时的数据不再写入文件
• 忽略无效指令，重写时使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令。如 del key1、hdel key2、srem key3、set key4 111、set key4 222 等
• 对同一数据的多条写命令合并为一条命令。如 lpush list1 a、lpush list1 b、Ipush list1 c，可以转化为：lpush list 1 a b c。
• 为防止数据量过大造成客户端缓冲区溢出，对 list、set、hash、zset 等类型，每条指令最多写入 64 个元素

AOF 重写方式

手动重写，同样会 fork 子进程去操作

bgrewriteaof

自动重写，配置触发条件，两个中满足任意一个就触发

auto-aof-rewrite-min-size size
auto-aof-rewrite-percentage percentage

自动重写触发比对参数（运行指令info Persistence获取具体信息）

aof_current_size

aof_base_size

自动重写触发条件

aof_current_size > auto-aof-rewri te-min-si ze

(aof_current_size - aof_base_size) / aof_base_size >= auto-aof-rewrite-percentage

AOF 重写流程

配置方式

RDB 与 AOF 对比

RDB 与 AOF 的选择

对数据非常敏感，建议使用默认的 AOF 持久化方案

• AOF 持久化策略使用 everysecond，每秒钟 fsync 一次。该策略 redis 仍可以保持很好的处理性能，当出现问题时，最多丢失 0-1 秒内的数据。
• 注意：由于 AOF 文件存储体积较大，且恢复速度较慢

数据呈现阶段有效性，建议使用 RDB 持久化方案

• 数据可以良好的做到阶段内无失（该阶段是开发者或运维人员手工维护的），且恢复速度较快，阶段点数据恢复通常采用 RDB 方案
• 注意：利用 RDB 实现紧凑的数据持久化会使 Redis 降的很低

综合比对

• RDB 与 AOF 的选择实际上是在做一种权衡，每种都有利有弊
• 如不能承受数分钟以内的数据丢失，对业务数据非常敏感，选用 AOF
• 如能承受数分钟以内的数据失，且追求大数据集的恢复速度，选用 RDB
• 灾难恢复选用 RDB
• 双保险策略，同时开启 RDB 和 AOF，重启后，Redis 优先使用 AOF 来恢复数据，降低丢失数据的量

持久化应用场景

• 控制数据库表主键 id，为数据库表主键提供生成策略，保障数据库表的主键唯一性
• 各种结构型和非结构型高热度数据访问加速
• 购物车数据存储设计
• 抢购，限购类、限量发放优惠卷、激活码等业务的数据存储设计
• 具有操作先后顺序的数据控制
• 最新消息展示
• 同类信息的关联搜索，二度关联搜索，深度关联搜索
• 基于黑名单与白名单设定的服务控制
• 计数器组合排序功能对应的排名
• 即时任务/消息队列执行管理
• 按次结算的服务控制

https://redis.io/topics/persistence