让并发如此轻松：Python 3.10 中asyncio原生协程的实战宝典

2024-01-12 10:13:40

运筹帷幄决胜千里，Python3.10原生协程asyncio工业级真实协程异步消费任务调度实践

我们经常听人说：“协程是比多线程更高效的一种并发工作方式，它完全由程序本身所控制，也就是在用户态执行，协程避免了像线程切换那样产生的上下文切换，在性能方面得到了很大的提升。”毫无疑问，协程确实拥有这些优点，但理论上的理解和实际的应用往往存在着差距，我们如何才能在真实的项目中应用协程呢？

什么是 asyncio？

asyncio 是 Python 中的一个库，它提供了异步 I/O 支持。异步 I/O 允许程序在等待 I/O 操作完成时执行其他任务，从而提高程序的吞吐量和响应速度。asyncio 使用协程来实现异步 I/O，协程是一种特殊的函数，它可以暂停和恢复执行。

asyncio 原生协程

在 Python 3.10 之前，asyncio 使用的是 Twisted 和 Tornado 等第三方库来实现协程。从 Python 3.10 开始，asyncio 引入了原生协程，原生协程不需要依赖第三方库，性能也得到了进一步提升。

asyncio 原生协程的优点

无需依赖第三方库： 原生协程不需要依赖第三方库，因此更易于安装和部署。
性能更高： 原生协程的性能比使用第三方库的协程更高。
更易于使用： 原生协程的 API 更简单，更易于使用。

asyncio 原生协程的应用场景

asyncio 原生协程可以用于各种需要并发编程的场景，例如：

网络服务器： asyncio 原生协程可以用于构建高性能的网络服务器。
Web 爬虫： asyncio 原生协程可以用于构建高并发、高吞吐量的 Web 爬虫。
数据处理： asyncio 原生协程可以用于对大数据进行并行处理。

真实世界的示例

为了让大家更好地理解asyncio 原生协程的用法，我们接下来将通过一些真实世界的示例来演示如何使用asyncio 原生协程来构建高效、可扩展的并发程序。

示例 1：构建一个简单的 HTTP 服务器

import asyncio

async def handle_client(reader, writer):
    data = await reader.read(100)
    message = "Hello, world!"
    writer.write(message.encode())
    await writer.drain()
    writer.close()

async def main():
    server = await asyncio.start_server(handle_client, "127.0.0.1", 8888)
    await server.serve_forever()

asyncio.run(main())

这是一个简单的 HTTP 服务器，它可以处理客户端的请求并返回一个 “Hello, world!” 的响应。

示例 2：构建一个 Web 爬虫

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, "https://www.example.com")
        print(html)

asyncio.run(main())

这是一个简单的 Web 爬虫，它可以爬取指定 URL 的网页内容。

示例 3：对大数据进行并行处理

import asyncio
import multiprocessing

async def process_data(data):
    # 对 data 进行处理

async def main():
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    tasks = [asyncio.create_task(process_data(d)) for d in data]
    await asyncio.gather(*tasks)

if __name__ == "__main__":
    asyncio.run(main())