构建无深度学习框架的神经网络

2024-01-11 10:34:31

神经网络组件

神经网络由一系列相互连接的层组成，每层包含多个神经元。神经元是神经网络的基本计算单元，它接受输入，对其应用函数，然后将输出传递给下一层。

在构建神经网络时，我们需要选择合适的损失函数和反向传播算法。损失函数用于衡量模型的性能，反向传播算法用于更新模型的权重。

2. 数据生成

为了测试神经网络的性能，我们需要生成一些数据。这些数据不太容易线性分类，以便于神经网络学习。

我们可以使用NumPy库来生成数据。首先，我们创建一个包含100个样本的数据集，每个样本有2个特征和1个标签。标签表示样本属于哪一类。

import numpy as np

# 创建数据集
X = np.random.randn(100, 2)
y = np.array([0 if x[0] + x[1] < 0 else 1 for x in X])

3. 线性分类器

我们将使用softmax和交叉熵损失来训练线性分类器。softmax函数将输入向量转换为概率分布，交叉熵损失函数用于衡量模型的性能。

# 定义softmax函数
def softmax(x):
  """
  计算softmax函数
  
  参数:
    x: 输入向量
  
  返回:
    softmax函数的输出
  """

  exps = np.exp(x - np.max(x))
  return exps / np.sum(exps)

# 定义交叉熵损失函数
def cross_entropy_loss(y_true, y_pred):
  """
  计算交叉熵损失函数
  
  参数:
    y_true: 真实标签
    y_pred: 预测标签
  
  返回:
    交叉熵损失函数的值
  """

  return -np.sum(y_true * np.log(y_pred))

# 初始化模型参数
W = np.random.randn(2, 2)
b = np.zeros(2)

# 训练模型
for epoch in range(100):
  # 前向传播
  z = np.dot(X, W) + b
  y_pred = softmax(z)

  # 计算损失函数
  loss = cross_entropy_loss(y, y_pred)

  # 反向传播
  dL_dW = np.dot(X.T, y_pred - y)
  dL_db = np.sum(y_pred - y, axis=0)

  # 更新模型参数
  W -= 0.01 * dL_dW
  b -= 0.01 * dL_db

# 评估模型
y_pred = np.argmax(y_pred, axis=1)
accuracy = np.mean(y_pred == y)

print('准确率:', accuracy)