千万别把异步请求放到线程池中！

2023-09-22 21:02:18

很多人在进行Web开发时，特别是使用Python进行开发，都会遇到一个问题：用 asyncio发送HTTP请求时，并不能达到自己预期的性能。

asyncio 是Python中用于异步编程的包。它的设计理念是通过事件循环来处理并发任务，从而提高程序的性能。

我们可以通过以下代码来发送一个HTTP请求：

import asyncio

async def make_request(url):
    response = await asyncio.get(url)
    return response.status

async def main():
    tasks = [make_request(url) for url in urls]
    responses = await asyncio.gather(*tasks)
    return responses

if __name__ == "__main__":
    asyncio.run(main())

这段代码首先定义了一个 make_request 函数，用于发送一个HTTP请求。

然后定义了一个 main 函数，用于并发发送多个HTTP请求。

最后，使用 asyncio.run 函数来运行 main 函数。

运行这段代码，你会发现，程序的性能并没有你想象的那么好。

这是因为，asyncio 的事件循环并不是一个线程池。

这意味着，当并发发送HTTP请求时，所有的请求都会在同一个线程中执行。

这就会导致程序的性能下降。

为了解决这个问题，我们可以使用线程池来并发发送HTTP请求。

我们可以通过以下代码来实现：

from concurrent.futures import ThreadPoolExecutor

def make_request(url):
    with ThreadPoolExecutor() as executor:
        response = executor.submit(asyncio.get, url)
        return response.result().status

def main():
    tasks = [make_request(url) for url in urls]
    responses = [task.result() for task in tasks]
    return responses

if __name__ == "__main__":
    main()