如何获取 `multiprocessing.Process` 返回值？4 种方法详解

python

2024-03-04 03:40:11

获取 multiprocessing.Process 返回值

在多进程编程中，每个进程都是独立的，拥有自己的内存空间和锁。因此，直接访问进程的返回值是不可能的。然而，我们可以使用以下方法来获取 multiprocessing.Process 的返回值：

1. 使用队列

使用 multiprocessing.Queue 是最常见的获取返回值的方法。它是一个线程安全的 FIFO 队列，可以用于在进程之间交换数据。

步骤：

在主进程中创建 Queue 对象。
在工作进程中，将返回值放入 Queue 中。
在主进程中，从 Queue 中获取返回值。

示例代码：

import multiprocessing
import queue

def worker(procnum, queue):
    queue.put(procnum)

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    jobs = []

    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(i, queue))
        jobs.append(p)
        p.start()

    for p in jobs:
        p.join()

    while not queue.empty():
        result = queue.get()
        print(f"Process {result} finished")

2. 使用共享内存

使用共享内存对象，如 multiprocessing.Value 或 multiprocessing.Array，可以创建进程共享的内存空间。这样，进程可以访问和修改相同的内存区域，实现数据的共享。

示例代码：

import multiprocessing

def worker(shared_value):
    shared_value.value += 1

if __name__ == '__main__':
    shared_value = multiprocessing.Value('i', 0)
    jobs = []

    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(shared_value,))
        jobs.append(p)
        p.start()

    for p in jobs:
        p.join()

    print(shared_value.value)

3. 使用结果属性

某些函数，如 multiprocessing.Pool.map_async，提供了 result 属性，可以用来获取返回值。

示例代码：

from concurrent.futures import ProcessPoolExecutor

def worker(i):
    return i * i

with ProcessPoolExecutor() as executor:
    results = executor.map(worker, range(5))

    for result in results:
        print(result)

4. 使用回调

将回调函数作为 target 参数传递给 multiprocessing.Process，在进程完成时调用回调函数。

示例代码：

import multiprocessing

def worker(i):
    return i * i

def callback(result):
    print(result)

if __name__ == '__main__':
    p = multiprocessing.Process(target=worker, args=(5,))
    p.start()
    p.join()

    callback(p.exitcode)  # 返回值存储在 exitcode 中