不再为Python异步并发请求超限而烦恼！Semaphore信号量助力轻松限制协程并发数

后端

2023-09-11 02:33:38

使用 Semaphore 应对 Python 异步并发请求的挑战

概述

Python 因其简洁的语法和庞大的生态系统而备受开发人员青睐。然而，在执行异步并发编程时，它可能会面临一些障碍。本文将深入探讨这些挑战，并介绍 Semaphore 信号量作为一种有效的解决方案。

挑战

文件句柄限制： Python 中，每个网络连接都与一个文件句柄相关联。随着并发请求数量的增加，系统允许的最大文件符数可能会被超出，导致程序崩溃。

服务器端压力： 过多的并发请求会导致被请求的服务器不堪重负，从而延迟甚至崩溃。

Semaphore：一种解决方案

Semaphore 是一种同步原语，可控制对共享资源的访问。通过将 Semaphore 的初始值设置为最大并发请求数量，我们可以限制同时发送的请求数。

步骤

导入 Semaphore 模块：

import asyncio
from concurrent.futures import Semaphore

创建 Semaphore 对象：

semaphore = Semaphore(max_concurrent_requests)

在发送请求之前，获取 Semaphore：

async with semaphore:
    # 发送请求

请求完成后，释放 Semaphore：

semaphore.release()

示例代码

import asyncio
from concurrent.futures import Semaphore

async def make_request(url):
    # 模拟耗时的请求
    await asyncio.sleep(1)
    return url

async def main():
    # 创建具有 5 个最大并发请求的 Semaphore
    semaphore = Semaphore(5)

    # 创建协程列表
    coroutines = []

    # 创建多个协程来发送请求
    for url in ['https://www.example.com', 'https://www.example.com/page1', 'https://www.example.com/page2']:
        coroutine = make_request(url)
        coroutines.append(coroutine)

    # 使用 Semaphore 限制并发请求
    async with semaphore:
        # 并发执行协程
        results = await asyncio.gather(*coroutines)

    # 打印结果
    for result in results:
        print(result)

if __name__ == '__main__':
    asyncio.run(main())