分类模型评价指标完全手册：小白秒变大拿！

人工智能

2023-03-10 16:02:09

二分类指标：评估分类模型性能的指南

在机器学习的世界中，分类任务无处不在。从电子邮件垃圾邮件检测到欺诈交易识别，分类模型帮助我们对数据进行分类并做出明智的决策。为了评估这些模型的性能，二分类指标至关重要。让我们深入了解这些指标的种类、计算方法和应用场景。

二分类指标的种类

二分类指标可分为两大类：

特定阈值下的准确召率： 这反映了模型在特定阈值下的表现，衡量模型将正样本和负样本正确分类的能力。
跨所有阈值的综合表现： 这提供了模型在所有阈值下的综合评估，考虑到其在各个阈值上的平均准确性。

特定阈值下的准确召率指标

准确率： 衡量模型正确预测正负样本的百分比。
召回率： 衡量模型识别所有正样本的百分比。
F1 分数： 结合准确率和召回率的加权平均值，提供了模型总体性能的衡量标准。

跨所有阈值的综合表现指标

ROC 曲线（接受者操作特性曲线）： 绘制模型在所有阈值下的准确率和召回率。
AUC（曲线下面积）： 衡量 ROC 曲线下的面积，表示模型预测正负样本的能力。
混淆矩阵： 总结了模型在所有阈值下的分类结果，有助于直观地评估模型的性能。

计算二分类指标

特定阈值下的准确召率：

def calculate_accuracy_recall(y_true, y_pred, threshold):
    TP = sum(y_true == y_pred)
    TN = sum((1 - y_true) == (1 - y_pred))
    FP = sum(y_true != y_pred)
    FN = sum((1 - y_true) != (1 - y_pred))
    accuracy = (TP + TN) / (TP + TN + FP + FN)
    recall = TP / (TP + FN)
    return accuracy, recall

跨所有阈值的综合表现：

from sklearn.metrics import roc_curve, auc

def calculate_roc_auc(y_true, y_pred):
    fpr, tpr, thresholds = roc_curve(y_true, y_pred)
    roc_auc = auc(fpr, tpr)
    return roc_auc

二分类指标的应用场景

二分类指标在机器学习中有着广泛的应用：