多处理遇阻：NumPy 后为何单核孤行？

多处理：为何在引入 NumPy 后仅使用单一内核？

引言

在并行化繁重的 CPU 循环时，使用多处理库似乎是一个明智的选择。然而，令人惊讶的是，有时所有工作进程都会集中在同一个内核上，无法带来性能提升。本文将探讨导致这种行为的原因，并提出切实可行的解决方案。

GIL 的幽灵

问题根源在于 Python 解释器的全局解释器锁 (GIL)。简而言之，GIL 是一项机制，一次仅允许一个线程执行 Python 代码。尽管你的计算机可能有多个 CPU 内核，但 Python 进程无法真正同时执行代码。

NumPy，一个流行的科学计算库，使用定制的线程池来进行并行计算。然而，NumPy 线程池与 Python GIL 的交互却带来了一场风暴。当 NumPy 线程尝试执行 Python 代码时，它们必须获取 GIL。由于 GIL 一次只能允许一个线程执行，这会导致所有 NumPy 线程在同一个内核上排队等待 GIL。

打破 GIL 的桎梏

为了解决 GIL 困境，你需要找到一种方法来避免在 NumPy 线程中执行 Python 代码。以下是一些行之有效的策略：

• Numba： Numba 是一款 Python 编译器，能够将 Python 代码编译为高效的机器代码。通过将 NumPy 计算卸载到 Numba，你可以绕开 GIL。
• Cython： Cython 是一种用于 Python 的静态类型语言，它允许你编写扩展模块，这些模块使用 C 语言编写了更底层的代码。使用 Cython，你可以避开 GIL 并增强并行性。
• Dask： Dask 是一个分布式计算框架，可以在多台机器或多个内核上并行化计算。通过使用 Dask，你可以摆脱 GIL 束缚，获得更好的可扩展性。

其他影响因素

除了这些解决方案之外，还有一些其他因素可能会影响多处理性能：

• 操作系统调度器： 操作系统调度器负责将进程分配给 CPU 内核。不同的调度器采用不同的策略，这可能会影响多处理应用程序的性能。
• CPU 架构： 某些 CPU 架构（如 NUMA）具有非统一内存访问 (NUMA) 功能，这意味着访问不同内存区域的延迟可能不同。这可能会影响多处理应用程序的性能，因为线程可能必须等待访问位于不同内存区域的数据。
• 并行循环的粒度： 并行循环的粒度（即每个任务的大小）也会影响多处理性能。粒度过小会导致开销过大，而粒度过大可能无法充分利用多个内核。

结论

多处理可以大幅提升 Python 代码的性能，但在处理需要与 NumPy 线程池交互的代码时，GIL 问题可能会成为绊脚石。通过采用替代库（如 Numba、Cython 或 Dask）或考虑其他影响因素（如操作系统调度器、CPU 架构和并行循环的粒度），你可以绕过 GIL 的限制，充分利用多处理的潜力。

常见问题解答

• 为什么 NumPy 线程需要 GIL？
  NumPy 线程在执行 Python 代码时需要获取 GIL，以确保 Python 代码在多线程环境中以安全且可预测的方式执行。

• 使用多个线程池是否能避开 GIL？
  不行。尽管使用多个线程池可以增加并发性，但它们仍然受 GIL 的限制，一次只能有一个线程执行 Python 代码。

• GIL 是否会影响所有多处理应用程序？
  否。只有在多处理应用程序使用 NumPy 线程池执行 Python 代码时，GIL 才是一个问题。

• 我应该始终避免在 NumPy 线程中使用 Python 代码吗？
  不一定。在某些情况下，例如使用简单的 Python 函数时，GIL 的影响可以忽略不计。但是，对于涉及大量计算的任务，最好避免使用 Python 代码。

• 是否还有其他方法可以克服 GIL 限制？
  目前，在 Python 中还没有明确的方法可以完全克服 GIL 限制。然而，持续的开发正在探索新的方法，例如 GIL 的分段实现或并行垃圾收集。