模型构建

PyTorch 学习笔记：模型构建和模型初始化

本文深入探讨 PyTorch 中模型构建和模型初始化的基础知识。我们将深入研究不同的层类型，探讨模型初始化的最佳实践，并通过示例代码提供实际指导。

模型构建是机器学习中的关键步骤，它涉及将神经网络的各个组件组合在一起。PyTorch 提供了广泛的层类型来构建复杂模型。

卷积层： 这些层用于提取图像或序列数据的空间特征。它们执行卷积运算，其中内核在输入上滑动以生成输出特征图。

池化层： 这些层通过将输入划分为矩形并执行聚合函数（如最大值或平均值）来减少特征图的尺寸。它们用于捕获更抽象的特征。

正则化层： 这些层通过添加噪声或强制稀疏性等技术来防止模型过拟合。Dropout 和 L1/L2 正则化是常见的正则化层。

激活函数： 这些函数对神经元的输出进行非线性变换，引入非线性并提高模型的表示能力。常见的激活函数包括 ReLU、sigmoid 和 tanh。

全连接层： 这些层连接不同层的输出，用于将特征映射到最终预测。它们执行矩阵乘法并添加偏置。

模型初始化对于模型的性能至关重要。以下是一些最佳实践：

• 均匀分布： 使用均匀分布初始化权重，范围通常为[-a, a]，其中 a 是一个小的正值。
• 正态分布： 使用正态分布初始化权重，均值为 0，标准差为 σ，σ 是一个小的正值。
• Xavier 初始化： 这是一种特定的正态分布初始化，考虑了输入和输出神经元的数量。
• Kaiming 初始化： 这是一种用于卷积层的特定正态分布初始化，考虑了卷积核的大小。
• 截断正态分布： 这是一种正态分布初始化，其中权重截断在均值的特定范围（通常是 2 个标准差）之外。

import torch
import torch.nn as nn
import torch.nn.functional as F

class SimpleConvNet(nn.Module):
    def __init__(self):
        super(SimpleConvNet, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, 3)
        self.maxpool1 = nn.MaxPool2d(2)
        self.conv2 = nn.Conv2d(32, 64, 3)
        self.maxpool2 = nn.MaxPool2d(2)
        self.fc1 = nn.Linear(64 * 4 * 4, 1024)
        self.fc2 = nn.Linear(1024, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = F.relu(x)
        x = self.maxpool1(x)
        x = self.conv2(x)
        x = F.relu(x)
        x = self.maxpool2(x)
        x = x.view(x.size(0), -1)
        x = self.fc1(x)
        x = F.relu(x)
        x = self.fc2(x)
        return x

model = SimpleConvNet()