机器学习从小白到大师：分类与模型评估

2023-11-23 16:01:18

分类之旅：机器学习旅程的基石

踏上分类的道路

机器学习是一个令人惊叹的领域，它赋予计算机从数据中学习的能力，而无需明确的编程。分类是机器学习旅程的一个基本方面，涉及将数据点分配到预先定义的类别中。从垃圾邮件检测到图像识别，分类在我们的日常生活中无处不在。掌握分类对于任何机器学习爱好者都是至关重要的。

为了开始分类之旅，让我们从广受欢迎的 MNIST 数据集开始。该数据集包含 70,000 张手写数字图像。为了构建一个强大的分类模型，我们将遵循三个关键步骤：

数据准备： 加载 MNIST 数据集并将其划分为训练集和测试集，为模型训练和评估提供数据。
模型选择： 尝试使用各种分类模型对数据进行分类，包括朴素贝叶斯、k-最近邻和支持向量机。
模型评估： 使用交叉验证、精度、召回率、F1 和 ROC 曲线等指标全面评估不同模型的性能。

算法宝库：朴素贝叶斯、k-NN 和 SVM

朴素贝叶斯是一个基于贝叶斯定理的简单而有效的分类算法。它假设特征之间独立，并使用概率来预测类别。k-最近邻（k-NN）是一种直观的算法，它通过将新数据点与训练集中最相似的 k 个数据点进行比较来进行分类。

支持向量机（SVM）是一种功能强大的分类器，它通过在数据点之间创建决策边界来工作。通过最大化边界和数据点的距离，SVM 能够有效地区分不同类别。

评估模型的有效性

评估分类模型的性能至关重要，因为这有助于我们选择最适合特定任务的模型。我们将使用以下指标来衡量模型的有效性：

交叉验证： 通过将数据集拆分为多个子集，交叉验证可以提供模型性能的更可靠估计。
精度： 精度衡量模型正确预测的实例数与总实例数之比。
召回率： 召回率衡量模型正确识别特定类别的实例数与该类别中所有实例数之比。
F1 分数： F1 分数是精度和召回率的加权平均值，它提供了模型性能的综合视图。
ROC 曲线： ROC 曲线绘制真正率与假正率之间的关系，提供了模型在不同阈值下的性能可视化。

OvR 与 OvO：多类分类方法

当处理具有多个类别的分类问题时，存在两种流行的方法：一对多 (OvR) 和一对一 (OvO)。OvR 将每个类别视为一个二元分类问题，而 OvO 则将每个类别对视为一个二元分类问题。

OvR 在计算上更有效，但可能对不平衡的数据集表现不佳。另一方面，OvO 对不平衡的数据集更鲁棒，但计算成本更高。

代码示例：分类与评估

为了深入了解分类和模型评估，请参考以下代码示例：

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
from sklearn.metrics import accuracy_score, recall_score, f1_score, roc_curve

# 加载 MNIST 数据集
mnist = tf.keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 数据归一化
x_train, x_test = x_train / 255.0, x_test / 255.0

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(x_train, y_train, test_size=0.2, random_state=42)

# 创建分类器
classifiers = [
    GaussianNB(),
    KNeighborsClassifier(n_neighbors=3),
    SVC(kernel="rbf")
]

# 评估分类器
for classifier in classifiers:
    scores = cross_val_score(classifier, X_train, y_train, cv=5)
    print("Accuracy:", scores.mean())
    print("Recall:", recall_score(y_test, classifier.predict(X_test)))
    print("F1 score:", f1_score(y_test, classifier.predict(X_test)))
    fpr, tpr, _ = roc_curve(y_test, classifier.predict_proba(X_test)[:, 1])
    print("AUC:", auc(fpr, tpr))