Redis热点Key解决之道：让海量请求不再“烫手”

2023-11-09 14:09:08

Redis 中的 HotKey：高并发下的性能之争

在高并发系统中，Redis 是必不可少的利器，它可以显著提升系统性能并降低延迟。然而，当并发量达到一定程度时，Redis 中可能会出现 HotKey 问题，即某一个或多个 Key 在短时间内被大量请求访问，导致 Redis 性能急剧下降，甚至引发系统崩溃。

HotKey 的成因及影响

HotKey 的产生通常有以下几个原因：

数据倾斜： 某些 Key 的数据量远超其他 Key，导致请求集中在少数几个 Key 上。
热点更新： 某些 Key 经常被更新，导致对该 Key 的请求激增。
突发流量： 短时间内对某个 Key 的大量访问，例如促销活动或社交媒体上的热议话题。

HotKey 对系统的影响不容小觑：

性能下降： HotKey 会占用大量的 Redis 资源，导致其他请求的响应时间变长，甚至引发 Redis 崩溃。
缓存穿透： 当 HotKey 的数据不在 Redis 中时，每次请求都需要去后端数据库查询，从而导致缓存穿透，严重影响系统性能。
数据不一致： 如果 HotKey 的数据在 Redis 和后端数据库中不一致，则会导致数据不一致的问题，进而影响业务的正常运行。

如何解决 HotKey 问题：一整套行之有效的策略

面对 HotKey 带来的性能挑战，我们可以采取一系列有效的策略来解决：

数据分片： 将数据分布到多个 Redis 实例中，从而降低单台 Redis 实例上的负载，缓解 HotKey 的压力。

import redis

# 创建 Redis 分片客户端
client = redis.StrictRedis(
    host='host1', port=6379, db=0, socket_timeout=5
)
client.set("key1", "value1")  # 将数据写入第一个分片

# ...

# 创建 Redis 分片客户端
client = redis.StrictRedis(
    host='host2', port=6379, db=1, socket_timeout=5
)
client.set("key2", "value2")  # 将数据写入第二个分片

热点限流： 对 HotKey 进行限流，控制对该 Key 的访问速率，避免 HotKey 成为性能瓶颈。

from redisbloom.client import Client

# 创建 Redis Bloom 过滤器客户端
client = Client(host='host', port=6379, db=0, socket_timeout=5)

# 创建过滤器
filter = client.create("hotkey_filter", capacity=10000, error_rate=0.01)

# 添加 Key 到过滤器
filter.add("key1")

# 检查 Key 是否在过滤器中
if filter.is_present("key1"):
    # 限流
    pass
else:
    # 允许访问
    pass

热点淘汰： 当 HotKey 的访问量下降时，将其从 Redis 中淘汰，释放 Redis 资源，避免 HotKey 的长期影响。

import redis

# 创建 Redis 客户端
client = redis.StrictRedis(
    host='host', port=6379, db=0, socket_timeout=5
)

# 设置 Key 的 TTL
client.setex("key1", 3600, "value1")  # 设置 Key 的过期时间为 1 小时

异步更新： 对于经常被更新的 HotKey，采用异步更新的方式，降低对 Redis 的压力。

import redis

# 创建 Redis 客户端
client = redis.StrictRedis(
    host='host', port=6379, db=0, socket_timeout=5
)

# 异步更新 Key
client.setnx("key1", "value1", nx=True)  # 仅当 Key 不存在时才设置

分布式锁： 在对 HotKey 进行更新时，使用分布式锁来保证数据的原子性和一致性。

import redis

# 创建 Redis 客户端
client = redis.StrictRedis(
    host='host', port=6379, db=0, socket_timeout=5
)

# 获取分布式锁
lock_key = "key1_lock"
lock_value = "value1"
lock_acquired = client.setnx(lock_key, lock_value)  # 仅当 Key 不存在时才设置

# 如果获取到锁，则执行更新操作
if lock_acquired:
    # 更新 Key
    client.set("key1", "value2")

    # 释放锁
    client.delete(lock_key)
else:
    # 等待锁释放
    pass

热点预热： 在系统启动时或流量高峰期前，将 HotKey 的数据预热到 Redis 中，避免突发流量对 HotKey 的冲击。

import redis

# 创建 Redis 客户端
client = redis.StrictRedis(
    host='host', port=6379, db=0, socket_timeout=5
)

# 预热 Key
client.set("key1", "value1")
client.set("key2", "value2")