剖析 Python 多进程的奥秘，探寻多样实现方式

2023-09-29 14:17:25

多进程的概念

在计算机科学中，进程是一个正在运行的程序的实例，它是一个独立运行的实体，拥有自己的内存空间和一组资源。多进程是指在同一时刻存在多个进程同时执行，它们共享相同的内存空间，但拥有独立的运行空间。多进程编程可以充分利用计算机的并行处理能力，提高程序的执行效率。

Python 中的多进程编程

Python 中的多进程编程提供了多种实现方式，包括：

使用 os.fork() 函数创建子进程
使用 multiprocessing 模块中的 Process 类创建子进程
使用 multiprocessing.pool 模块中的 Pool 类创建进程池

使用 os.fork() 函数创建子进程

os.fork() 函数可以创建一个子进程，子进程与父进程共享相同的内存空间，但拥有独立的运行空间。子进程可以调用 os.getpid() 函数获取自己的进程 ID，也可以调用 os.getppid() 函数获取父进程的进程 ID。

import os

def child_process():
    print("I am a child process. My PID is", os.getpid())
    print("My parent's PID is", os.getppid())

if __name__ == "__main__":
    pid = os.fork()
    if pid == 0:
        child_process()
    else:
        print("I am the parent process. My PID is", os.getpid())

使用 multiprocessing 模块中的 Process 类创建子进程

multiprocessing 模块中的 Process 类可以更方便地创建子进程。Process 类提供了 start() 方法来启动子进程，join() 方法来等待子进程结束，is_alive() 方法来检查子进程是否还活着。

from multiprocessing import Process

def child_process():
    print("I am a child process. My PID is", os.getpid())
    print("My parent's PID is", os.getppid())

if __name__ == "__main__":
    p = Process(target=child_process)
    p.start()
    p.join()
    print("The child process has finished.")

使用 multiprocessing.pool 模块中的 Pool 类创建进程池

multiprocessing.pool 模块中的 Pool 类可以创建进程池，进程池中包含一定数量的进程，这些进程可以同时执行任务。Pool 类提供了 apply() 方法来提交任务，map() 方法来将一个函数应用于多个参数，close() 方法来关闭进程池，join() 方法来等待进程池中的所有进程结束。

from multiprocessing.pool import Pool

def child_process(x):
    return x * x

if __name__ == "__main__":
    pool = Pool(4)
    result = pool.map(child_process, range(10))
    print(result)
    pool.close()
    pool.join()