使用 Envoy 轻松为应用程序实施速率限制，增强 SRE 弹性

引言

在分布式系统中，确保应用程序的弹性至关重要。速率限制是一种有效的技术，可通过限制传入请求的数量来缓解级联故障并防止共享资源耗尽。Envoy 是一个功能丰富的代理，可以轻松地为任何服务添加速率限制功能。

使用 Envoy 进行速率限制

Envoy 通过其路由配置提供了对速率限制的强大支持。要配置速率限制，我们首先需要创建一个集群，它代表我们想要限制请求的目标服务：

clusters:
  - name: my_service
    connect_timeout: 1s
    type: strict_dns
    hosts:
      - my-service.example.com:8080

接下来，我们创建一个虚拟主机，定义路由规则和速率限制策略：

virtual_hosts:
  - name: my_virtual_host
    domains:
      - my-app.example.com
    routes:
      - match:
          prefix: /api
        route:
          cluster: my_service
          rate_limits:
            - actions:
                - request_headers:
                    header_name: x-rate-limit-key
                    descriptor_key: client_id
                - limit:
                    requests_per_unit: 100
                    unit: second

此配置将基于请求标头 x-rate-limit-key 对每个客户端的请求进行速率限制，并将速率限制为每秒 100 个请求。

速率限制的优点

实施速率限制提供了以下优点：

• 故障缓解： 防止级联故障，因为请求洪峰会被限制，从而避免对后端服务的压倒。
• 资源保护： 限制对共享资源的请求数量，防止耗尽和服务降级。
• 性能优化： 通过平滑请求负载，提高应用程序性能和响应时间。
• DovOps 协作： 允许 SRE 团队与开发人员合作，在不影响应用程序代码的情况下实施弹性措施。

最佳实践

在实施速率限制时，应考虑以下最佳实践：

• 渐进式实施： 逐步实施速率限制，监控影响并根据需要进行调整。
• 考虑公平性： 使用公平算法，确保所有客户端都能公平访问资源，避免饥饿。
• 定制规则： 根据需要创建自定义规则，以适应不同的用例和应用程序需求。
• 持续监控： 监控速率限制的有效性，并根据请求模式和应用程序行为进行调整。

结论

通过使用 Envoy 进行速率限制，SRE 团队可以增强应用程序的弹性并防止级联故障。这种方法简单有效，无需更改应用程序代码，使 DevOps 团队能够密切合作，确保系统稳定和高性能。