Torch中模型的保存与加载

2024-02-02 11:06:26

使用 PyTorch 保存和加载模型

在深度学习中，模型训练是一个迭代的过程，可能需要多次迭代才能达到令人满意的效果。为了防止模型在训练过程中丢失，或者为了在不同设备上部署模型，需要保存训练好的模型。PyTorch 提供了多种方法来保存和加载模型，本博客将深入探讨这些方法。

保存模型

1. 保存整个模型

最直接的方法是将整个模型保存为一个文件。这可以通过调用 torch.save() 函数实现。函数语法如下：

torch.save(model, path)

其中 model 是要保存的模型，path 是保存模型的文件路径。例如，以下代码将模型 model 保存为文件 model.pt：

torch.save(model, 'model.pt')

2. 保存模型权重

有时，我们可能只需要保存模型的权重，而不是整个模型。这可以通过调用 torch.save() 函数并指定 weights_only 参数实现。语法如下：

torch.save(model.state_dict(), path, weights_only=True)

其中 model.state_dict() 返回模型的权重，path 是保存权重文件的路径，weights_only 参数设置为 True 表示只保存权重。以下代码将模型 model 的权重保存为文件 model_weights.pt：

torch.save(model.state_dict(), 'model_weights.pt', weights_only=True)

3. 保存模型参数

类似于保存模型权重，我们也可以只保存模型的参数。这可以通过调用 torch.save() 函数并指定 params 参数实现。语法如下：

torch.save(model.parameters(), path, params_only=True)

其中 model.parameters() 返回模型的参数，path 是保存参数文件的路径，params_only 参数设置为 True 表示只保存参数。以下代码将模型 model 的参数保存为文件 model_params.pt：

torch.save(model.parameters(), 'model_params.pt', params_only=True)

加载模型

1. 加载整个模型

要加载整个模型，可以使用 torch.load() 函数。函数语法如下：

model = torch.load(path)

其中 path 是模型文件的路径。例如，以下代码将文件 model.pt 中的模型加载到变量 model 中：

model = torch.load('model.pt')

2. 加载模型权重

要加载模型权重，可以使用 model.load_state_dict() 函数。函数语法如下：

model.load_state_dict(state_dict)

其中 state_dict 是要加载的权重。以下代码将文件 model_weights.pt 中的权重加载到模型 model 中：

model.load_state_dict(torch.load('model_weights.pt'))

3. 加载模型参数

要加载模型参数，可以使用 model.load_parameters() 函数。函数语法如下：

model.load_parameters(params)

其中 params 是要加载的参数。以下代码将文件 model_params.pt 中的参数加载到模型 model 中：

model.load_parameters(torch.load('model_params.pt'))

在 CPU 和 GPU 之间移动模型

在训练模型时，我们通常使用 GPU 来加速训练。然而，在部署模型时，我们可能需要在 CPU 上运行模型。为了在 CPU 和 GPU 之间移动模型，可以使用 model.to() 函数。函数语法如下：

model = model.to(device)

其中 device 是目标设备。以下代码将模型 model 移动到 GPU 上：

model = model.to('cuda')

以下代码将模型 model 移动到 CPU 上：

model = model.to('cpu')

总结

本文深入探讨了使用 PyTorch 保存和加载模型的步骤和方法，并提供了代码示例。我们涵盖了模型保存的常见策略，包括保存整个模型、保存模型权重和保存模型参数，以及模型加载的详细说明。此外，我们还提供了使用 PyTorch 在 CPU 和 GPU 之间移动模型的代码示例，方便读者在不同设备上部署模型。