记录生活中的点点滴滴

0%

redis学习4：持久化

发表于 Valine：

redis的持久化，是重点。

redis是内存数据库，如果不将内存中的数据库保存到硬盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失，所以 redis 提供了持久化功能，分别是 RDB(Redis DataBase) 和 AOF(Append Only File)。

官网写的很清楚，建议后续可以去官网看看：Redis持久化

RDB（Redis DataBase）

RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。

工作方式

当 Redis 需要保存 dump.rdb 文件时， 服务器执行以下操作:

  • Redis 调用forks. 同时拥有父进程和子进程。
  • 子进程将数据集写入到一个临时 RDB 文件中。
  • 当子进程完成对新 RDB 文件的写入时，Redis 用新 RDB 文件替换原来的 RDB 文件，并删除旧的 RDB 文件。

这种工作方式使得 Redis 可以从写时复制（copy-on-write）机制中获益。

下面我们在测试一下，先把配置文件改一下：

接着启动一下 redis 服务器，然后打开 redis 的客户端，执行下面命令：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@localhost bin]# ./redis-cli
127.0.0.1:6379> FLUSHALL # 刷新数据库
OK
127.0.0.1:6379> save # 保存操作
OK
127.0.0.1:6379> set k1 v1 # 在1分钟之内设置5个键值对
OK
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> set k3 v3
OK
127.0.0.1:6379> set k4 v4
OK
127.0.0.1:6379> set k5 v5
OK
127.0.0.1:6379> shutdown # 关闭redis服务器
not connected> exit
[root@localhost bin]# ps -ef|grep redis # 查看redis运行情况
root      18520  16961  0 18:47 pts/0    00:00:00 grep --color=auto redis
[root@localhost bin]#

然后再次重启 redis，并查看 k1 的value值，发现还是在的。

1
2
3
4
5
6
7
8
[root@localhost bin]# ./redis-server redis.conf
18527:C 18 Dec 2020 18:48:46.310 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
18527:C 18 Dec 2020 18:48:46.310 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=18527, just started
18527:C 18 Dec 2020 18:48:46.310 # Configuration loaded
[root@localhost bin]# ./redis-cli
127.0.0.1:6379> get k1 # 查看k1的value值
"v1"
127.0.0.1:6379>

若此时，我们新开一个终端，删除 dump.rdb：

接着原来的redis 客户端 刷新redis数据库：

此时如果另一个终端再次查看 ls 当前目录下文件,则还会有 demp.rdb：

所以我们总结一下 dump.rdb 的触发机制：

1、save的规则满足的情况下，会自动触发 rdb 规则。

2、执行 FLUSHALL 命令，也会触发我们的 rdb 规则。

3、退出 redis ，也会产生 rdb 文件。

如何恢复 rdb 文件？

1、只需要将 rdb 文件放在我们的redis启动目录下面，redis启动时就会自动检查，恢复其中的数据

2、查看需要保存的位置：

1
2
3
127.0.0.1:6379> config get dir
1) "dir"
2) "/usr/local/redis/bin" # 如果这个目录下存在 dump.rdb 文件，启动就会自动恢复其中的内容

优点：

  • RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份,比如你可以在每个小时报保存一下过去24小时内的数据,同时每天保存过去30天的数据,这样即使出了问题你也可以根据需求恢复到不同版本的数据集.
  • RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心或者亚马逊的S3（可能加密），非常适用于灾难恢复.
  • RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能.
  • 与AOF相比,在恢复大的数据集的时候，RDB方式会更快一些.

缺点：

  • 如果你希望在redis意外停止工作（例如电源中断）的情况下丢失的数据最少的话，那么RDB不适合你.虽然你可以配置不同的save时间点(例如每隔5分钟并且对数据集有100个写的操作),是Redis要完整的保存整个数据集是一个比较繁重的工作,你通常会每隔5分钟或者更久做一次完整的保存,万一在Redis意外宕机,你可能会丢失几分钟的数据.
  • RDB 需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求.如果数据集巨大并且CPU性能不是很好的情况下,这种情况会持续1秒,AOF也需要fork,但是你可以调节重写日志文件的频率来提高数据集的耐久度.

以上优点、缺点摘抄自redis中文官网！

AOF（Append-only file）

AOF持久化方式记录每次对服务器写（不记录读）的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾。当 Redis 重新启时， 程序就可以通过重新执行 AOF 文件中的命令来达到重建数据集的目的。

AOF保存的是 appendonly.aof 文件：

默认是不开启的，即no，我们要把它改成 yes。

然后重启 redis 服务器，再打开一个 redis 客户端，在另外一个终端就能看到新生成的 appendonly.aof 文件了 ：

然后在 redis 的客户端执行下面命令：

1
2
3
4
5
6
7
8
9
10
11
12
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> set k3 v3
OK
127.0.0.1:6379> set k4 v4
OK
127.0.0.1:6379> set k5 v5
OK

然后去我们的另一个终端那边用vim打开一下 appendonly.aof 文件，内容如下：

虽然看不太懂，但是基本上就是我们之前执行的一些 set 命令，我们就应该明白 追加保存每次写的操作到文件末尾 的意思了吧。

接下来我们把这个文件内容破坏了，在最后一行随意插入一些字符串。

在 原来的 redis 客户端上 shutdown 了，然后重启 redis 客户端与服务器，可以看到会报下面的错误：

其实我们可以利用 redis-check-aof 这个文件去修复我们的 appendonly.aof 文件

然后再次启动 redis 的服务器和客户端，就能成功了，不过key5数据被修复没了。也许是因为我们破坏了key5这个数据吧。

优点：

  • 使用AOF 会让你的Redis更加耐久: 你可以使用不同的fsync策略：无fsync,每秒fsync,每次写的时候fsync.使用默认的每秒fsync策略,Redis的性能依然很好(fsync是由后台线程进行处理的,主线程会尽力处理客户端请求),一旦出现故障，你最多丢失1秒的数据.
  • AOF文件是一个只进行追加的日志文件,所以不需要写入seek,即使由于某些原因(磁盘空间已满，写的过程中宕机等等)未执行完整的写入命令,你也也可使用redis-check-aof工具修复这些问题.
  • Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。
  • AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） AOF 文件也非常简单： 举个例子， 如果你不小心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要停止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

缺点：

  • 对于相同的数据集来说，AOF 文件的体积通常要大于 RDB 文件的体积。
  • 根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。 在一般情况下， 每秒 fsync 的性能依然非常高， 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快， 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时，RDB 可以提供更有保证的最大延迟时间（latency）。