巧用架构设计，轻松应对限流排队业务场景

后端

2023-11-19 17:44:57

限流排队：互联网系统中必不可少的业务架构

什么是限流排队？

当大量用户同时访问互联网系统时，例如在电商网站上的促销活动，系统可能会因承受不了如此庞大的流量而崩溃。为了防止这种情况，我们需要一种机制来限制并发访问量，这就是限流排队。

限流排队的目的

限流排队的目的是通过拦截超出系统负载的用户访问，避免系统崩溃。它确保系统稳定运行，即使在流量高峰期也能为用户提供良好的体验。

常见的限流排队架构

1. 限流器架构

最简单的限流架构是在服务器端部署限流器，通过限制客户端访问服务器的速率来进行限流。

public class RateLimiter {

    private int maxRequestsPerSecond;
    private long lastRequestTime;

    public RateLimiter(int maxRequestsPerSecond) {
        this.maxRequestsPerSecond = maxRequestsPerSecond;
        this.lastRequestTime = System.currentTimeMillis();
    }

    public boolean allowRequest() {
        long currentTime = System.currentTimeMillis();
        if (currentTime - lastRequestTime >= 1000 / maxRequestsPerSecond) {
            lastRequestTime = currentTime;
            return true;
        }
        return false;
    }
}

2. 分布式限流架构

分布式限流架构将限流器部署在多个服务器上，通过一致性算法保证限流规则的一致性。

public class DistributedRateLimiter {

    private final Map<String, RateLimiter> rateLimiters = new HashMap<>();

    public DistributedRateLimiter(int maxRequestsPerSecond) {
        for (int i = 0; i < numServers; i++) {
            rateLimiters.put("server" + i, new RateLimiter(maxRequestsPerSecond));
        }
    }

    public boolean allowRequest(String server) {
        return rateLimiters.get(server).allowRequest();
    }
}

3. 排队架构

排队架构在限流器架构的基础上增加了排队机制，将被限流的请求放入队列中，等待服务器空闲时再进行处理。

public class QueueingRateLimiter {

    private final RateLimiter rateLimiter;
    private final BlockingQueue<Request> queue;

    public QueueingRateLimiter(int maxRequestsPerSecond) {
        this.rateLimiter = new RateLimiter(maxRequestsPerSecond);
        this.queue = new LinkedBlockingQueue<>();
    }

    public void submitRequest(Request request) {
        if (rateLimiter.allowRequest()) {
            processRequest(request);
        } else {
            queue.offer(request);
        }
    }

    private void processRequest(Request request) {
        // 处理请求...
    }

    // 启动一个后台线程来处理队列中的请求
    public void start() {
        new Thread(() -> {
            while (true) {
                Request request = queue.take();
                processRequest(request);
            }
        }).start();
    }
}