1. 准确率/召回率/f1分数

2. Auc(一般用于二分类)

3. kappa系数(一般用于多分类)

3.1 简单kappa(simple kappa)

 Kappa系数用于一致性检验,代表着分类与完全随机的分类产生错误减少的比例,kappa系数的计算是基于混淆矩阵的。


kappa计算结果为-1~1,但通常kappa是落在 0~1 间。实践证明,它是一个描述一致性的较为理想的指标。

第一种分析准则:

kappa=1 两次判断完全一致
kappa>=0.75 比较满意的一致程度
kappa<0.4 不够理想的一致程度

第二种分析准则:

0.0~0.20极低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1几乎完全一致(almost perfect)

3.2 加权kappa(weighted kappa)

加权kappa分为linear weighted kappa 和 quadratic weighted kappa。

不同加权kappa系数的选择取决于数据集中不同class之间差异的意义。

例如对于眼底图像识别的数据,class=0为健康,class=4为疾病晚期非常严重,所以对于把class=0预测成4的行为所造成的惩罚应该远远大于把class=0预测成class=1的行为,使用quadratic的话0->4所造成的惩罚就等于16倍的0->1的惩罚。如下图是一个四分类的两个计算方法的比较。

(1)linear weighted kappa

(2)quadratic weighted kappa

计算原理:https://www.kaggle.com/c/data-science-bowl-2019/overview/evaluation

版权声明:本文为BlowingInTheWind原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/BlowingInTheWind/p/11870386.html