深度学习必备工具—自动微分轻松上手教程

2024-02-19 13:16:13

使用 PyTorch 进行自动微分：深入探索

什么是自动微分？

在深度学习中，自动微分是一种强大的技术，它可以自动计算函数的导数。导数对于神经网络的反向传播和梯度下降算法至关重要。在 PyTorch 中，自动微分是通过 torch.autograd 包实现的。

如何使用 PyTorch 进行自动微分？

示例 1：计算函数的导数

import torch

x = torch.tensor(2.0, requires_grad=True)
y = x ** 2

# 计算导数
dy_dx = torch.autograd.grad(y, x)

# 打印导数
print(dy_dx)

在上面的示例中，我们计算了函数 y = x^2 的导数。通过将 requires_grad 设置为 True，PyTorch 会跟踪计算过程，允许我们稍后计算导数。torch.autograd.grad() 函数返回一个包含导数的张量。

示例 2：训练神经网络

import torch

# 定义神经网络
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = torch.nn.Linear(1, 1)

    def forward(self, x):
        x = self.fc1(x)
        return x

# 实例化神经网络
net = Net()

# 定义损失函数和优化器
loss_fn = torch.nn.MSELoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)

# 训练神经网络
for epoch in range(1000):
    # 准备数据
    x = torch.rand(1, 1, requires_grad=True)
    y = x ** 2

    # 前向传播
    y_pred = net(x)

    # 计算损失
    loss = loss_fn(y_pred, y)

    # 反向传播
    loss.backward()

    # 更新权重
    optimizer.step()

    # 打印损失
    if epoch % 100 == 0:
        print(f'Epoch {epoch}: loss = {loss.item()}')