深度解析Logistic回归数学原理

2023-09-21 12:05:12

揭开逻辑回归数学面纱：踏入机器学习的知识宝库

踏入机器学习领域，逻辑回归就像一扇通往知识宝库的大门，引领我们探索其背后的数学奥秘。让我们一步一步掀开这层数学面纱，深入理解逻辑回归模型的运作原理。

sigmoid 函数：概率世界的变色龙

sigmoid 函数，一个介于0和1之间的数学变色龙，将输入值完美转换。它就像概率世界的调色板，将任何实数映射为一个介于0和1之间的概率值，在逻辑回归模型中扮演着至关重要的角色。

import numpy as np

def sigmoid(x):
  return 1 / (1 + np.exp(-x))

交叉熵损失函数：衡量预测的距离

交叉熵损失函数，一把衡量模型预测与真实值差距的标尺。它通过比较预测概率和真实标签的差异，量化模型的性能。从信息论的角度来看，交叉熵损失函数表示模型预测的不确定性，即预测与真实之间的距离。

def cross_entropy_loss(y_true, y_pred):
  return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

正则化：防止过拟合的守护者

L1 正则化和 L2 正则化，逻辑回归模型中的两道防火墙，防止模型过拟合。它们通过在损失函数中加入额外的约束，抑制模型对训练数据的过度依赖，从而增强泛化能力。

def l1_regularization(weights, lambda_):
  return lambda_ * np.sum(np.abs(weights))

def l2_regularization(weights, lambda_):
  return lambda_ * np.sum(weights ** 2)

梯度下降：向最优迈进的步履

梯度下降，逻辑回归模型的优化引擎，一步步向损失函数的最低点迈进。它利用损失函数的梯度信息，不断调整模型参数，直至找到最优解。

def gradient_descent(loss_function, learning_rate):
  weights = np.random.rand(n_features)
  for i in range(n_iterations):
    weights -= learning_rate * loss_function.gradient(weights)

多分类逻辑回归：跨越二分的边界

逻辑回归不仅局限于二分类问题，还可以扩展到多分类领域。基于 OvR（一对多）和 MvM（多对多）方法，多分类逻辑回归为复杂的多分类任务提供了解决方案。

# OvR 方法
def one_vs_rest(y_true, y_pred):
  n_classes = y_true.shape[1]
  loss = 0
  for i in range(n_classes):
    loss += cross_entropy_loss(y_true[:, i], y_pred[:, i])
  return loss

# MvM 方法
def many_vs_many(y_true, y_pred):
  n_classes = y_true.shape[1]
  loss = 0
  for i in range(n_classes):
    for j in range(i + 1, n_classes):
      loss += cross_entropy_loss(y_true[:, i] + y_true[:, j], y_pred[:, i] + y_pred[:, j])
  return loss