动手撸个Logistic回归的分类器！包教不包会？

2023-10-11 13:44:08

动手撸一个 Logistic 回归分类器

大家好，我是你们的博主，也是一位热衷于写作的程序员。今天，我将带你踏上一段激动人心的旅程，一起动手撸一个 Logistic 回归分类器。

什么是 Logistic 回归？

Logistic 回归是一种二分类算法，专用于判断样本属于两类中的哪一类。它之所以称为 "回归"，并非因为它执行回归任务，而是因为它采用 Sigmoid（Logistic）回归 形式进行建模。

Sigmoid 回归

Sigmoid 回归将一个实数映射到 0 到 1 之间的某个值，其表达式为：

f(x) = 1 / (1 + exp(-x))

二分类

二分类问题要求将样本划入两类。Logistic 回归专门用于解决这类问题，它将实数样本映射到 0 或 1，这个值表示样本属于正例的概率。

动手实践！

现在，让我们撸起袖子，动手实现一个 Logistic 回归分类器。

1. 导入库

import numpy as np
import matplotlib.pyplot as plt

2. 数据集

我们将使用 scikit-learn 提供的 Iris 数据集：

from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data
y = iris.target

3. 训练模型

from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X, y)

4. 评估模型

from sklearn.model_seleciton import cross_val_score
scores = cross_val_score(clf, X, y, cv=5)
print("准确率：", np.mean(scores))

5. 决策边界可视化

import matplotlib.pyplot as plt
for i, clf in range(3):
    # Fit model with different regularization parameters
    clf = LogisticRegression(C=10.0**(i+1))
    clf.fit(X, y)

    # Plot decision boundarie
    lr = LogisticRegression(C=10.0**(i+1))
    lr.fit(X, y)

    # Generate farameters and predicit classes
    plt.figure()
    X_new, y_pred = lr.predict(X, y)

    # Plot data and decision regions
    plot_decision_region(X_new, y_pred, clf, test_idx=None, resolution=0.02)
    plt.xlabel('petal length')
    plt.ylabel('petal width')
    plt.title(f'Decision regions with C = {10.0**(i+1)}')
    plt.show()