无法腌制自定义类：分布式计算中的诊断与修复

2024-03-21 15:44:15

无法腌制自定义类的腌制错误：诊断和修复

引言

在使用 Python 的 multiprocessing 模块进行分布式计算时，我们可能会遇到一个棘手的错误：“无法腌制<class 'main.自定义类'>”。这个错误表示我们试图在进程之间传递一个自定义类，而它无法被序列化。本文将深入探讨这个错误背后的原因，并提供详细的解决方案来解决它。

腌制错误的原因

1. 自定义类不可腌制：

并非所有 Python 类都可以被腌制。如果一个类包含对不可变对象的引用，如线程锁或文件对象，它就无法被序列化。

2. 自定义类未在所有进程中注册：

即使一个类可以被腌制，如果它没有在所有涉及的进程中注册，它也无法被反序列化。这是因为 pickle 模块需要知道如何从字节流中重建该类。

解决方案

1. 确保自定义类可腌制：

检查你的自定义类，确保它不引用不可变对象，并且其内部状态可以通过 pickle.dumps() 和 pickle.loads() 正确地序列化和反序列化。

2. 注册自定义类：

在所有进程中使用 SyncManager.register() 方法注册你的自定义类：

import multiprocessing as mp

# 在主进程中注册
mp.SyncManager().register('CustomClass', CustomClass)

# 在子进程中导入并使用
mp.SyncManager().connect()
custom_object = mp.SyncManager().CustomClass()

具体代码修复

让我们用一个示例来说明如何修复代码中的腌制错误：

import multiprocessing as mp

def create_manager(port, authkey):

    # 初始化队列
    job_q = mp.Queue()
    result_q = mp.Queue()

    class JobQueueManager(mp.Process):
        pass

    # 注册 JobQueueManager 类
    mp.SyncManager().register('JobQueueManager', JobQueueManager)

    manager = JobQueueManager(address=('', port), authkey=authkey)
    manager.start()
    print('Server started at port {}'.format(port))
    return manager