限流如何设计？如何用一个简单的算法来设计合理的限流器？

见解分享

2023-09-10 17:34:39

限流策略：保障系统稳定的利器

什么是限流？

限流，顾名思义，就是限制对 API 的调用频率。这就好比交通管理中的限速措施，它可以防止服务器被恶意攻击、保护服务器资源，避免服务器因过载而宕机。

限流算法百花齐放

实现限流有许多不同的算法，其中最常见的包括：

令牌桶算法

想象一个装有令牌的桶，每一次 API 调用需要消耗一个令牌。如果桶中没有足够的令牌，请求就会被拒绝。令牌桶算法简单易懂，可以有效防止恶意攻击，但它不能很好地应对突发流量。

滑动窗口算法

滑动窗口算法同样使用令牌，但它们存储在滑动窗口中，随着时间推移而移动。每一次 API 调用都会在窗口中增加一个令牌，如果窗口中令牌的数量超过限制，请求就会被拒绝。滑动窗口算法可以动态调整限流阈值，很好地处理突发流量，但它相对复杂，可能会导致 API 调用延迟。

漏桶算法

漏桶算法基于速率，而不是令牌。它有一个漏桶，每次 API 调用都会向漏桶中添加数据。如果漏桶中的数据量超过限制，请求就会被拒绝。漏桶算法简单易懂，可以很好地处理突发流量，但它不能很好地防止恶意攻击。

令牌桶 vs. 滑动窗口

令牌桶：

静态，不能动态调整限流阈值
不能很好地处理突发流量
简单易懂
可能会导致 API 调用延迟

滑动窗口：

动态，可以动态调整限流阈值
可以很好地处理突发流量
相对复杂
不太可能导致 API 调用延迟

漏桶 vs. 令牌桶

漏桶：

基于速率，而不是令牌
不能很好地防止恶意攻击
简单易懂
不太可能导致 API 调用延迟

令牌桶：

基于令牌
可以很好地防止恶意攻击
简单易懂
可能会导致 API 调用延迟

选择最适合的限流算法

根据不同的需求，可以选择最适合的限流算法：

防止恶意攻击： 令牌桶算法
处理突发流量： 滑动窗口算法
简单易懂： 令牌桶算法或漏桶算法
避免 API 调用延迟： 滑动窗口算法或漏桶算法

代码示例

以 Python 代码为例，实现滑动窗口算法：

import time

class SlidingWindow:

    def __init__(self, window_size, limit):
        self.window_size = window_size
        self.limit = limit
        self.window = []
        self.current_count = 0

    def add_request(self):
        current_time = time.time()
        self.window = [t for t in self.window if t >= current_time - self.window_size]
        self.window.append(current_time)
        self.current_count += 1

    def is_over_limit(self):
        return self.current_count > self.limit