探究 PyTorch 源码：揭开 BN 和 SyncBN 神秘面纱

2023-11-08 16:52:26

探索 PyTorch 源码：深入解析 BN 和 SyncBN

在深度学习的神秘领域，PyTorch 源码宛如一幅浩瀚的画卷，其中 BN（批归一化）和 SyncBN（多卡同步 BN）犹如两颗璀璨的明珠，闪烁着智慧的光芒。让我们踏入这段探索之旅，揭开它们在机器学习王国中的秘密。

BN：平滑优化之匙

想象一下，在一次聚会上，每个人都穿着颜色各异的衣服。这时，BN 登场了，它就像一位神奇的调色师，将每个人衣服的颜色统一成一种和谐的色调。同样地，在神经网络中，BN 通过消除数据分布中的内部差异，使模型训练更加稳定、收敛速度更快。

在 PyTorch 中，实现 BN 就像调制一剂神奇药水。我们首先创建一个名为 BN 的模块，并为其赋予调整数据分布的超能力：

import torch.nn as nn

class BN(nn.Module):
    def __init__(self, num_features):
        super(BN, self).__init__()
        self.gamma = nn.Parameter(torch.ones(num_features))
        self.beta = nn.Parameter(torch.zeros(num_features))
        self.mu = nn.Parameter(torch.zeros(num_features), requires_grad=False)
        self.var = nn.Parameter(torch.ones(num_features), requires_grad=False)

    def forward(self, x):
        mu, var = torch.mean(x, dim=0, keepdim=True), torch.var(x, dim=0, keepdim=True)
        x = (x - mu) / torch.sqrt(var + 1e-5)
        x = self.gamma * x + self.beta
        return x

这就好比为调色师提供了一套画笔和颜料，让他挥洒自如地绘制出和谐的数据分布。

SyncBN：多卡训练的和谐之声

当我们用多块显卡一起训练模型时，BN 就遇到了一个难题。不同显卡上的数据批次不同，导致 BN 参数在显卡之间出现差异，影响模型的整体表现，就像一个管弦乐队中不同乐器的音色不统一。

这时，SyncBN 应运而生，它就像一位指挥家，将不同显卡上的 BN 参数统一起来，奏响和谐的乐章。在 PyTorch 中，实现 SyncBN 就像挥动指挥棒：

import torch.nn.SyncBatchNorm as SyncBN

class SyncBN(nn.Module):
    def __init__(self, num_features):
        super(SyncBN, self).__init__()
        self.gamma = nn.Parameter(torch.ones(num_features))
        self.beta = nn.Parameter(torch.zeros(num_features))

    def forward(self, x):
        x = torch.nn.functional.batch_norm(x, None, None, self.gamma, self.beta, training=True)
        return x