面试官来问，阻塞与非阻塞，一起搞定批量请求数据

2024-02-23 00:25:26







## 多线程技术助力批量数据请求

在当今快速发展的互联网时代，我们需要处理海量的数据，而批量请求数据是实现此目的的一种常见方法。通过批量请求数据，我们可以同时从多个来源获取信息，从而提高数据获取的效率。

然而，在处理批量请求数据时，可能会遇到一些挑战，例如如何限制并发请求的数量。这是因为并发请求过多可能会导致服务器超负荷，从而影响系统的性能。

为了解决这个问题，我们可以使用多种方法来限制并发请求的数量，其中一种方法是使用阻塞和非阻塞两种方法来实现。

## 阻塞与非阻塞，如何选择

在阻塞方法中，当一个线程在等待另一个线程完成其任务时，它会被阻塞。这意味着在等待期间，该线程无法执行任何其他任务。

而在非阻塞方法中，当一个线程在等待另一个线程完成其任务时，它不会被阻塞。这意味着在等待期间，该线程可以继续执行其他任务。

阻塞方法的优点是实现简单，易于理解。缺点是可能会导致线程被阻塞，从而影响系统的性能。

非阻塞方法的优点是不会导致线程被阻塞，从而提高了系统的性能。缺点是实现起来比较复杂，不易理解。

在实际应用中，我们可以根据具体情况选择使用阻塞或非阻塞方法来限制并发请求的数量。

## 递归实现，巧妙限流

除了使用阻塞和非阻塞两种方法来限制并发请求的数量之外，我们还可以使用递归来实现此目的。

递归是一种将问题分解为更小的子问题，然后逐个解决子问题，最终解决整个问题的方法。在限制并发请求数量时，我们可以使用递归来限制每个子问题的并发请求数量。

例如，我们可以将批量请求数据任务分解为多个子任务，每个子任务负责从一个来源获取数据。然后，我们可以使用递归来限制每个子任务的并发请求数量。

## 示例代码，清晰直观

为了帮助您更好地理解如何使用阻塞、非阻塞和递归来限制并发请求的数量，我们提供了一个示例代码。

```python
import asyncio
import aiohttp

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = ['https://example.com/1', 'https://example.com/2', 'https://example.com/3']
    tasks = [asyncio.create_task(fetch(url)) for url in urls]
    results = await asyncio.gather(*tasks, return_exceptions=True)
    for result in results:
        print(result)

if __name__ == '__main__':
    asyncio.run(main())