揭秘神经网络的基础知识：从零实现全连接网络

人工智能

2023-05-01 22:54:30

深入神经网络基础知识：理解机器学习背后的数学

前言

神经网络已成为人工智能领域不可或缺的工具，在从图像识别到自然语言处理的广泛应用中发挥着至关重要的作用。为了深入了解这些强大模型的内部运作，掌握神经网络基础知识至关重要。

向量、矩阵和多维数组

神经网络的世界建立在数学的基石之上。向量是按顺序排列的数字，而矩阵是向量组成的二维数组。多维数组是具有三个或更多维度的数组。这些结构用于存储和处理神经网络中的数据。

激活函数

激活函数是神经网络中不可或缺的一部分，它们决定了神经元根据输入输出的值。常见的激活函数包括 Sigmoid 函数、ReLU 函数和 Tanh 函数。这些函数是非线性的，引入必要的复杂性，使神经网络能够学习复杂的模式。

全连接网络

全连接网络是最简单的神经网络类型之一。它由输入层、隐藏层和输出层组成。输入层接收数据，隐藏层处理数据，输出层产生输出。这种简单结构是更复杂神经网络的构建模块。

从头开始实现全连接网络

让我们用 Python 从头开始实现一个全连接网络。

import numpy as np

# 定义网络结构
input_size = 784  # 输入层节点数
hidden_size = 100  # 隐藏层节点数
output_size = 10  # 输出层节点数

# 定义权重和偏置
W1 = np.random.randn(input_size, hidden_size)  # 输入层到隐藏层的权重
b1 = np.zeros((hidden_size,))  # 隐藏层偏置
W2 = np.random.randn(hidden_size, output_size)  # 隐藏层到输出层的权重
b2 = np.zeros((output_size,))  # 输出层偏置

# 定义激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 定义前向传播函数
def forward(x):
    h = sigmoid(np.dot(x, W1) + b1)
    y = sigmoid(np.dot(h, W2) + b2)
    return y

# 定义反向传播函数
def backward(x, y, y_hat):
    # 计算输出层误差
    delta_2 = y - y_hat

    # 计算隐藏层误差
    delta_1 = np.dot(delta_2, W2.T) * sigmoid(np.dot(x, W1) + b1) * (1 - sigmoid(np.dot(x, W1) + b1))

    # 更新权重和偏置
    W1 -= learning_rate * np.dot(x.T, delta_1)
    b1 -= learning_rate * delta_1
    W2 -= learning_rate * np.dot(h.T, delta_2)
    b2 -= learning_rate * delta_2

# 定义训练函数
def train(x, y, epochs=1000, learning_rate=0.01):
    for epoch in range(epochs):
        y_hat = forward(x)
        backward(x, y, y_hat)

# 加载数据
x = np.load('data.npy')
y = np.load('labels.npy')

# 训练网络
train(x, y)

# 保存模型
np.save('model.npy', W1)
np.save('model.npy', b1)
np.save('model.npy', W2)
np.save('model.npy', b2)

# 使用模型进行预测
y_hat = forward(x)