在 `multiprocessing` 中如何向 `pool.map` 传递多个参数？

2024-03-12 08:22:19

在 multiprocessing 中向 pool.map 传递多个参数

简介

multiprocessing 模块 是一种强大的工具，可用于通过并行处理来加速计算。它的 map 方法是并行执行函数的常用方式，可以大大缩短执行时间。但是，默认情况下，map 方法只能传递一个参数给函数。对于需要传递多个参数的情况，multiprocessing 提供了两种替代方法。

方法 1：使用 `functools.partial`

functools.partial 函数 可以创建一个具有预定义参数的新函数。本质上，它将一个函数包装起来，并为其固定一个或多个参数。这可以与 map 方法结合使用，以便在调用时传递其他参数。

示例：

from functools import partial

def harvester(text, case, X):
    text += str(X)

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=6)
    case = RAW_DATASET
    harvester_partial = partial(harvester, text, case)
    pool.map(harvester_partial, range(1, 100))  # 传递 X 参数的范围
    pool.close()
    pool.join()

在这个示例中，harvester_partial 函数被创建，它将 text 和 case 参数固定为预定义值，同时允许在调用时传递 X 参数。

方法 2：使用 `multiprocessing.Pool.starmap`

Pool 类 还提供了一个 starmap 方法，它允许将元组列表作为参数传递给函数。这可以用来传递多个参数。

示例：

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=6)
    case = RAW_DATASET
    args_list = [(text, case, X) for X in range(1, 100)]
    pool.starmap(harvester, args_list)
    pool.close()
    pool.join()

在这个示例中，args_list 包含元组列表，每个元组包含要传递给 harvester 函数的三个参数。

结论

通过使用 functools.partial 或 multiprocessing.Pool.starmap，可以轻松地向 pool.map 传递多个参数。这为需要向并行处理函数传递多个参数的情况提供了灵活性。

常见问题解答

为什么需要向 pool.map 传递多个参数？

因为并非所有函数都只有一个参数。一些函数需要多个参数才能正常工作。
functools.partial 和 multiprocessing.Pool.starmap 有什么区别？

functools.partial 创建一个具有固定参数的新函数，而 multiprocessing.Pool.starmap 将元组列表传递给函数。
哪种方法更有效率？

这取决于具体情况。通常，functools.partial 更高效，因为创建新函数的开销更低。
我可以用 multiprocessing.Pool.apply 代替 pool.map 吗？

可以，但 pool.map 更有效率，因为它是专门为并行处理而设计的。
我可以使用其他方法向 pool.map 传递多个参数吗？

可以，但 functools.partial 和 multiprocessing.Pool.starmap 是最常用的方法。