数据库

数据库的结构¶

Redis 中的每个数据库，都由一个 redis.h/redisDb 结构表示：

typedef struct redisDb {

    // 保存着数据库以整数表示的号码
    int id;

    // 保存着数据库中的所有键值对数据
    // 这个属性也被称为键空间（key space）
    dict *dict;

    // 保存着键的过期信息
    dict *expires;

    // 实现列表阻塞原语，如 BLPOP
    // 在列表类型一章有详细的讨论
    dict *blocking_keys;
    dict *ready_keys;

    // 用于实现 WATCH 命令
    // 在事务章节有详细的讨论
    dict *watched_keys;

} redisDb;

下文将详细讨论 id 、 dict 和 expires 三个属性， 以及针对这三个属性所执行的数据库操作。

数据库的切换¶

redisDb 结构的 id 域保存着数据库的号码。

这个号码很容易让人将它和切换数据库的 SELECT 命令联系在一起， 但是， 实际上， id 属性并不是用来实现 SELECT 命令， 而是给 Redis 内部程序使用的。

当 Redis 服务器初始化时， 它会创建出 redis.h/REDIS_DEFAULT_DBNUM 个数据库， 并将所有数据库保存到 redis.h/redisServer.db 数组中， 每个数据库的 id 为从 0 到 REDIS_DEFAULT_DBNUM - 1 的值。

当执行 SELECT number 命令时，程序直接使用 redisServer.db[number] 来切换数据库。

但是， 一些内部程序， 比如 AOF 程序、复制程序和 RDB 程序， 需要知道当前数据库的号码， 如果没有 id 域的话， 程序就只能在当前使用的数据库的指针， 和 redisServer.db 数组中所有数据库的指针进行对比， 以此来弄清楚自己正在使用的是那个数据库。

以下伪代码描述了这个对比过程：

def PSEUDO_GET_CURRENT_DB_NUMBER(current_db_pointer):
    i = 0
    for db_pointer in redisServer.db:
        if db_pointer == current_db_pointer:
            break
        i += 1
    return i

有了 id 域的话， 程序就可以通过读取 id 域来了解自己正在使用的是哪个数据库， 这样就不用对比指针那么麻烦了。

数据库键空间¶

因为 Redis 是一个键值对数据库（key-value pairs database）， 所以它的数据库本身也是一个字典（俗称 key space）：

• 字典的键是一个字符串对象。
• 字典的值则可以是包括字符串、列表、哈希表、集合或有序集在内的任意一种 Redis 类型对象。

在 redisDb 结构的 dict 属性中，保存着数据库的所有键值对数据。

下图展示了一个包含 number 、 book 、 message 三个键的数据库 —— 其中 number 键是一个列表，列表中包含三个整数值； book 键是一个哈希表，表中包含三个键值对； 而 message 键则指向另一个字符串：

键空间的操作¶

因为数据库本身是一个字典， 所以对数据库的操作基本上都是对字典的操作， 加上以下一些维护操作：

• 更新键的命中率和不命中率，这个值可以用 INFO 命令查看；
• 更新键的 LRU 时间，这个值可以用 OBJECT 命令来查看；
• 删除过期键（稍后会详细说明）；
• 如果键被修改了的话，那么将键设为脏（用于事务监视），并将服务器设为脏（等待 RDB 保存）；
• 将对键的修改发送到 AOF 文件和附属节点，保持数据库状态的一致；

作为例子，以下几个小节会展示键的添加、删除、更新、取值等几个主要操作。

键的过期时间¶

在前面的内容中， 我们讨论了很多涉及数据库本身、以及对数据库中的键值对进行处理的操作， 但是， 关于数据库如何保存键的过期时间， 以及如何处理过期键这一问题， 我们还没有讨论到。

通过 EXPIRE 、 PEXPIRE 、 EXPIREAT 和 PEXPIREAT 四个命令， 客户端可以给某个存在的键设置过期时间， 当键的过期时间到达时， 键就不再可用：

redis> SETEX key 5 value
OK

redis> GET key
"value"

redis> GET key   // 5 秒过后
(nil)

命令 TTL 和 PTTL 则用于返回给定键距离过期还有多长时间：

redis> SETEX key 10086 value
OK

redis> TTL key
(integer) 10082

redis> PTTL key
(integer) 10068998

在接下来的内容中， 我们将探讨和键的过期时间相关的问题： 比如键的过期时间是如何保存的， 而过期键又是如何被删除的， 等等。

过期时间的保存¶

在数据库中， 所有键的过期时间都被保存在 redisDb 结构的 expires 字典里：

typedef struct redisDb {

    // ...

    dict *expires;

    // ...

} redisDb;

expires 字典的键是一个指向 dict 字典（键空间）里某个键的指针， 而字典的值则是键所指向的数据库键的到期时间， 这个值以 long long 类型表示。

下图展示了一个含有三个键的数据库，其中 number 和 book 两个键带有过期时间：

设置生存时间¶

Redis 有四个命令可以设置键的生存时间（可以存活多久）和过期时间（什么时候到期）：

• EXPIRE 以秒为单位设置键的生存时间；
• PEXPIRE 以毫秒为单位设置键的生存时间；
• EXPIREAT 以秒为单位，设置键的过期 UNIX 时间戳；
• PEXPIREAT 以毫秒为单位，设置键的过期 UNIX 时间戳。

虽然有那么多种不同单位和不同形式的设置方式， 但是 expires 字典的值只保存“以毫秒为单位的过期 UNIX 时间戳”， 这就是说， 通过进行转换， 所有命令的效果最后都和 PEXPIREAT 命令的效果一样。

举个例子，从 EXPIRE 命令到 PEXPIREAT 命令的转换可以用伪代码表示如下：

def EXPIRE(key, sec):

    # 将 TTL 从秒转换为毫秒
    ms = sec_to_ms(sec)

    # 获取以毫秒计算的当前 UNIX 时间戳
    ts_in_ms = get_current_unix_timestamp_in_ms()

    # 毫秒 TTL 加上毫秒时间戳，就是 key 到期的时间戳
    PEXPIREAT(ms + ts_in_ms, key)

其他函数的转换方式也是类似的。

作为例子， 下图展示了一个 expires 字典示例， 字典中 number 键的过期时间是 2013 年 2 月 10 日（农历新年）， 而 book 键的过期时间则是 2013 年 2 月 14 日（情人节）：

这两个键的过期时间可能是用以上四个命令的任意一个设置的， 但它们都以统一的格式被保存在 expires 字典中。

过期键的判定¶

通过 expires 字典， 可以用以下步骤检查某个键是否过期：

1. 检查键是否存在于 expires 字典：如果存在，那么取出键的过期时间；
2. 检查当前 UNIX 时间戳是否大于键的过期时间：如果是的话，那么键已经过期；否则，键未过期。

可以用伪代码来描述这一过程：

def is_expired(key):

    # 取出键的过期时间
    key_expire_time = expires.get(key)

    # 如果过期时间不为空，并且当前时间戳大于过期时间，那么键已经过期
    if expire_time is not None and current_timestamp() > key_expire_time:
        return True

    # 否则，键未过期或没有设置过期时间
    return False

过期键的清除¶

我们知道了过期时间保存在 expires 字典里， 又知道了该如何判定一个键是否过期， 现在剩下的问题是， 如果一个键是过期的， 那它什么时候会被删除？

这个问题有三种可能的答案：

1. 定时删除：在设置键的过期时间时，创建一个定时事件，当过期时间到达时，由事件处理器自动执行键的删除操作。
2. 惰性删除：放任键过期不管，但是在每次从 dict 字典中取出键值时，要检查键是否过期，如果过期的话，就删除它，并返回空；如果没过期，就返回键值。
3. 定期删除：每隔一段时间，对 expires 字典进行检查，删除里面的过期键。

过期键的惰性删除策略¶

实现过期键惰性删除策略的核心是 db.c/expireIfNeeded 函数 —— 所有命令在读取或写入数据库之前，程序都会调用 expireIfNeeded 对输入键进行检查， 并将过期键删除：

比如说， GET 命令的执行流程可以用下图来表示：

expireIfNeeded 的作用是， 如果输入键已经过期的话， 那么将键、键的值、键保存在 expires 字典中的过期时间都删除掉。

用伪代码描述的 expireIfNeeded 定义如下：

def expireIfNeeded(key):

    # 对过期键执行以下操作 。。。
    if key.is_expired():

        # 从键空间中删除键值对
        db.dict.remove(key)

        # 删除键的过期时间
        db.expires.remove(key)

        # 将删除命令传播到 AOF 文件和附属节点
        propagateDelKeyToAofAndReplication(key)

过期键的定期删除策略¶

对过期键的定期删除由 redis.c/activeExpireCycle 函执行： 每当 Redis 的例行处理程序 serverCron 执行时， activeExpireCycle 都会被调用 —— 这个函数在规定的时间限制内， 尽可能地遍历各个数据库的 expires 字典， 随机地检查一部分键的过期时间， 并删除其中的过期键。

整个过程可以用伪代码描述如下：

def activeExpireCycle():

    # 遍历数据库（不一定能全部都遍历完，看时间是否足够）
    for db in server.db:

        # MAX_KEY_PER_DB 是一个 DB 最大能处理的 key 个数
        # 它保证时间不会全部用在个别的 DB 上（避免饥饿）
        i = 0
        while (i < MAX_KEY_PER_DB):

            # 数据库为空，跳出 while ，处理下个 DB
            if db.is_empty(): break

            # 随机取出一个带 TTL 的键
            key_with_ttl = db.expires.get_random_key()

            # 检查键是否过期，如果是的话，将它删除
            if is_expired(key_with_ttl):
                db.deleteExpiredKey(key_with_ttl)

            # 当执行时间到达上限，函数就返回，不再继续
            # 这确保删除操作不会占用太多的 CPU 时间
            if reach_time_limit(): return

            i += 1

过期键对 AOF 、RDB 和复制的影响¶

前面的内容讨论了过期键对 CPU 时间和内存的影响，现在，是时候说说过期键在 RDB 文件、 AOF 文件、 AOF 重写以及复制中的影响了：

过期键会被保存在更新后的 RDB 文件、 AOF 文件或者重写后的 AOF 文件里面吗？

附属节点会会如何处理过期键？处理的方式和主节点一样吗？

以上这些问题就是本节要解答的。

数据库空间的收缩和扩展¶

因为数据库空间是由字典来实现的， 所以数据库空间的扩展/收缩规则和字典的扩展/收缩规则完全一样， 具体的信息可以参考《字典》章节。

因为对字典进行收缩的时机是由使用字典的程序决定的， 所以 Redis 使用 redis.c/tryResizeHashTables 函数来检查数据库所使用的字典是否需要进行收缩： 每次 redis.c/serverCron 函数运行的时候， 这个函数都会被调用。

tryResizeHashTables 函数的完整定义如下：

/*
 * 对服务器中的所有数据库键空间字典、以及过期时间字典进行检查，
 * 看是否需要对这些字典进行收缩。
 *
 * 如果字典的使用空间比率低于 REDIS_HT_MINFILL
 * 那么将字典的大小缩小，让 USED/BUCKETS 的比率 <= 1
 */
void tryResizeHashTables(void) {
    int j;

    for (j = 0; j < server.dbnum; j++) {

        // 缩小键空间字典
        if (htNeedsResize(server.db[j].dict))
            dictResize(server.db[j].dict);

        // 缩小过期时间字典
        if (htNeedsResize(server.db[j].expires))
            dictResize(server.db[j].expires);
    }
}

小结¶

• 数据库主要由 dict 和 expires 两个字典构成，其中 dict 保存键值对，而 expires 则保存键的过期时间。
• 数据库的键总是一个字符串对象，而值可以是任意一种 Redis 数据类型，包括字符串、哈希、集合、列表和有序集。
• expires 的某个键和 dict 的某个键共同指向同一个字符串对象，而 expires 键的值则是该键以毫秒计算的 UNIX 过期时间戳。
• Redis 使用惰性删除和定期删除两种策略来删除过期的键。
• 更新后的 RDB 文件和重写后的 AOF 文件都不会保留已经过期的键。
• 当一个过期键被删除之后，程序会追加一条新的 DEL 命令到现有 AOF 文件末尾。
• 当主节点删除一个过期键之后，它会显式地发送一条 DEL 命令到所有附属节点。
• 附属节点即使发现过期键，也不会自作主张地删除它，而是等待主节点发来 DEL 命令，这样可以保证主节点和附属节点的数据总是一致的。
• 数据库的 dict 字典和 expires 字典的扩展策略和普通字典一样。它们的收缩策略是：当节点的填充百分比不足 10% 时，将可用节点数量减少至大于等于当前已用节点数量。