如何检查 PyTorch 是否在使用 GPU？——全方位指南

在 Python 脚本中检查 PyTorch 是否正在使用 GPU

问题

在使用 PyTorch 进行深度学习时，检查 PyTorch 是否正在使用 GPU 很重要，这有助于进行调试和性能分析。

解决方法

使用 torch.cuda.is_available()

import torch

if torch.cuda.is_available():
    print("GPU is available.")
else:
    print("GPU is not available.")

检查 torch.cuda.current_device()

import torch

device = torch.cuda.current_device()

if device == 0:
    print("CPU is currently selected.")
else:
    print(f"GPU {device} is currently selected.")

检查 torch.cuda.get_device_name()

import torch

device_name = torch.cuda.get_device_name()

if device_name == "CPU":
    print("CPU is currently selected.")
else:
    print(f"GPU {device_name} is currently selected.")

代码示例

import torch

# 检查 GPU 是否可用
if torch.cuda.is_available():
    print("GPU is available.")
else:
    print("GPU is not available.")

# 检查当前选定的 GPU 设备
device = torch.cuda.current_device()

if device == 0:
    print("CPU is currently selected.")
else:
    print(f"GPU {device} is currently selected.")

# 检查当前选定的 GPU 设备的名称
device_name = torch.cuda.get_device_name()

if device_name == "CPU":
    print("CPU is currently selected.")
else:
    print(f"GPU {device_name} is currently selected.")

结论

使用这些方法，你可以轻松检查 PyTorch 是否正在使用 GPU，这有助于你更好地管理资源并优化你的模型训练过程。

常见问题解答

1. 如何在没有 GPU 的机器上运行 PyTorch 程序？

如果没有 GPU，PyTorch 将使用 CPU 运行。只需确保使用 torch.device("cpu") 手动将设备设置为 CPU 即可。

2. 如何强制 PyTorch 使用特定的 GPU？

使用 torch.cuda.set_device(device_id) 设置特定的 GPU 设备 ID，其中 device_id 是目标 GPU 的索引。

3. 如何检查 GPU 的可用内存？

使用 torch.cuda.memory_allocated() 和 torch.cuda.max_memory_allocated() 函数检查 GPU 的可用和最大可用内存。

4. 如何卸载 PyTorch 从 GPU 中释放内存？

使用 torch.cuda.empty_cache() 函数卸载 PyTorch 从 GPU 中释放内存。

5. 如何使用 PyTorch 并行处理多个 GPU？

使用 torch.nn.DataParallel 和 torch.distributed.DataParallel 模块使用多个 GPU 进行并行处理。