走进深度学习之门：多层感知机通关秘籍

2023-03-12 19:39:44

走进深度学习之门：多层感知机通关秘籍

准备踏上人工智能之旅了吗？多层感知机（MLP） 是开启深度学习大门的钥匙。在这篇详尽的指南中，我们将揭开 MLP 的神秘面纱，并提供你征服它的终极秘籍。

多层感知机的本质：从感官到决策

想象一下你的人脑如何接收信息并做出决策。MLP 的工作原理与之相似。它由层叠的神经元组成，就像大脑中的神经元一样。这些神经元层层传递信息，就像多米诺骨牌一样。通过激活函数（例如 sigmoid 或 ReLU），MLP 可以从原始数据中提取特征并形成决策。

构建 MLP 的蓝图：从概念到代码

建立一个 MLP 涉及以下步骤：

设计网络结构： 确定输入、隐藏和输出层的神经元数量。
初始化权重和偏置： 用随机值初始化权重和偏置，它们是影响网络学习的参数。
前向传播： 将输入数据依次传递过网络，得到输出。
计算误差： 衡量网络输出与真实标签之间的差异。
反向传播： 计算误差相对于权重和偏置的梯度，并使用这些梯度来更新参数。
迭代优化： 重复步骤 3-5，直到网络对输入数据的预测与标签完美匹配或达到最佳性能。

import numpy as np

# 定义网络结构
layers = [2, 4, 1]  # 输入层 2 个神经元，1 个隐藏层 4 个神经元，输出层 1 个神经元

# 随机初始化权重和偏置
weights = [np.random.randn(l1, l2) for l1, l2 in zip(layers[:-1], layers[1:])]
biases = [np.random.randn(l) for l in layers[1:]]

# 定义前向传播函数
def forward(x):
    for w, b in zip(weights, biases):
        x = np.dot(x, w) + b
        x = np.maximum(x, 0)  # ReLU 激活函数
    return x

# 定义损失函数（均方误差）
def loss(y_pred, y_true):
    return np.mean((y_pred - y_true)**2)

# 定义反向传播函数
def backward(x, y_pred, y_true):
    dw = [np.dot(x.T, y_pred - y_true)]
    db = [y_pred - y_true]
    for w, b in zip(weights[1:], biases[1:]):
        d_prev = np.dot((y_pred - y_true), w.T)
        d_prev[d_prev < 0] = 0  # ReLU 激活函数的导数
        dw.insert(0, np.dot(x.T, d_prev))
        db.insert(0, d_prev)
    return dw, db

# 训练网络
for epoch in range(1000):
    # 前向传播
    y_pred = forward(x_train)

    # 计算损失
    loss_value = loss(y_pred, y_train)

    # 反向传播
    dw, db = backward(x_train, y_pred, y_train)

    # 更新权重和偏置
    for w, dw_ in zip(weights, dw):
        w -= 0.01 * dw_
    for b, db_ in zip(biases, db):
        b -= 0.01 * db_

    # 打印损失
    if epoch % 100 == 0:
        print(f'Epoch {epoch}: Loss = {loss_value}')