机器学习中的线性回归与其实现

人工智能

2023-10-02 01:43:21

线性回归概述

在机器学习中，线性回归是一种监督式学习算法，旨在找到一组数据点的最佳拟合直线或超平面。这意味着它试图找到一条直线或超平面，使数据点与直线或超平面的距离之和最小。

线性回归有两种主要类型：一元线性回归和多元线性回归。一元线性回归用于一个自变量与一个因变量之间的关系，而多元线性回归用于多个自变量与一个因变量之间的关系。

线性回归算法可以应用于各种实际问题，例如：

预测房价
预测股票价格
预测销售额
预测客户流失率

线性回归的数学原理

一元线性回归

一元线性回归的模型方程为：

y = ax + b

其中，y是因变量，x是自变量，a是斜率，b是截距。

斜率a描述了自变量x对因变量y的线性影响。如果a为正，则随着x的增加，y也增加。如果a为负，则随着x的增加，y减少。

截距b描述了当自变量x为0时，因变量y的值。

多元线性回归

多元线性回归的模型方程为：

y = a1x1 + a2x2 + ... + anxn + b

其中，y是因变量，x1、x2、...、xn是自变量，a1、a2、...、an是斜率，b是截距。

多元线性回归的原理与一元线性回归类似。不同之处在于，多元线性回归考虑了多个自变量对因变量的影响。

线性回归的Python实现

一元线性回归

import numpy as np
import matplotlib.pyplot as plt

# 导入数据
data = np.loadtxt('data.csv', delimiter=',')

# 分割数据
X = data[:, 0]  # 自变量
y = data[:, 1]  # 因变量

# 拟合模型
model = LinearRegression()
model.fit(X.reshape(-1, 1), y)

# 预测数据
y_pred = model.predict(X.reshape(-1, 1))

# 绘制拟合线
plt.scatter(X, y)
plt.plot(X, y_pred, color='red')
plt.show()

多元线性回归

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 导入数据
data = np.loadtxt('data.csv', delimiter=',')

# 分割数据
X = data[:, :-1]  # 自变量
y = data[:, -1]  # 因变量

# 拟合模型
model = LinearRegression()
model.fit(X, y)

# 预测数据
y_pred = model.predict(X)

# 绘制拟合线
plt.scatter(X[:, 0], y)
plt.plot(X[:, 0], y_pred, color='red')
plt.show()