深入探索 Python 并行编程实践（下）：协程、任务和异步 I/O

2023-11-08 17:53:37

Python 并行编程实践（下）

前言

在上一篇文章中，我们探索了并行编程在 Python 中的理论基础和核心概念。我们了解了进程、线程和并发性的差异，并深入探讨了多处理和多线程模块。在本篇文章中，我们将继续我们的探索之旅，重点关注并行编程的更高级概念，如协程、任务和异步 I/O。

协程：轻量级的并发

协程是子例程的更一般形式。子例程可以在某一点进入并在另一点退出。协程则可以在许多不同的点上进入、退出和恢复。它们可通过 async def 语句来实现。

使用协程的主要优点是它们比线程更轻量级，并且可以同时挂起和恢复多个协程。这使得它们非常适合处理需要执行大量 I/O 操作的任务，例如网络请求或文件读写。

任务：协程的封装

任务是协程的高级抽象，为协程提供了额外的功能，例如生命周期管理、异常处理和优先级设置。任务可以使用 asyncio.create_task() 函数创建，该函数返回一个可用于控制任务生命周期的 Task 对象。

异步 I/O：非阻塞操作

异步 I/O 是一种非阻塞 I/O 技术，它允许程序在等待 I/O 操作完成时继续执行。这对于编写响应式和可扩展的应用程序至关重要，因为 I/O 操作通常会花费大量时间。

Python 的 asyncio 模块提供了对异步 I/O 的支持。它提供了各种异步 I/O 函数，例如 asyncio.open_connection() 和 asyncio.read()，这些函数可以与协程一起使用。

示例：使用协程进行网络爬取

以下示例展示了如何使用协程和 asyncio 进行网络爬取：

import asyncio

async def fetch_page(url):
    response = await asyncio.get(url)
    return await response.text()

async def main():
    urls = ["http://example.com", "http://example.org", "http://example.net"]
    tasks = [asyncio.create_task(fetch_page(url)) for url in urls]
    results = await asyncio.gather(*tasks)
    for result in results:
        print(result)

asyncio.run(main())