Precision, Recall, Accuracy, F score, Sensitivity, Specificity..

举报
AI Medicine 发表于 2022/03/31 12:22:59 2022/03/31
【摘要】 首先确定4个概念,TP,FP,TN,FNTP(True Positive):在判定为positive的样本中,判断正确的数目。 FP(False Positive):在判定为positive的样本中,判断错误的数目。 TN(True Negative):在判定为negative的样本中,判断正确的数目。 FN(False Negative):在判定为negative的样本中,判断错误的数目。...

首先确定4个概念,TP,FP,TN,FN

  • TP(True Positive):在判定为positive的样本中,判断正确的数目。
  •  FP(False Positive):在判定为positive的样本中,判断错误的数目。
  •  TN(True Negative):在判定为negative的样本中,判断正确的数目。
  •  FN(False Negative):在判定为negative的样本中,判断错误的数目。

计算 precision,recall,accuracy,F1 score

概念:精确率(Precision), 召回率(Recall) ,准确率(Accuracy),和 F1-Measure

1. 精确率(precision):   可理解为“真正属于类别P的/找到属于类别P的”

  • 我们找到的个数里面,真正找对的比例。
  • 查准率,找到的里面,有多少是对的。

2. 召回率(recall):   可理解为“真正属于类别P的/所有属于类别P的”;

  • 所有需要找到的里面,我们真正找的个数的比例。
  • 查全率,该找的的是否全部找到了?

3. 准确率(accuracy):可理解为在所有样本中,全部判断正确的比例。

4. F score

  • 精确率和召回率是相互影响的,理想情况下两者都高,但是一般情况下准确率高,召回率就低;召回率高,准确率就低;如果两者都低,应该是哪里算的有问题。
  • 当然希望检索结果Precision越高越好,同时Recall也越高越好,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,且是准确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究,可以绘制Precision-Recall曲线来帮助分析。

  1. 在两者都要求高的情况下,综合衡量P和R就用F值:
  1. α为1时候,就是常见的F1-score
  1. 其他解释

     

    灵敏度与假阴性率(漏诊率)

    1. 灵敏度(也称真阳性率,sensitivity)=真阳性人数/(真阳性人数+假阴性人数)*100%。
      1. 是TP/(TP+FN), 和recall的计算方式比较类似。
      2. 指正确判断病人的程度,也即实际有病而被正确诊断的百分比。
      3. A代表病人中被诊断为病人的数量;C代表病人中被诊断为非病人的数量。

    特异度与假阳性率

    1. 特异度(也称真阴性率,specificity)=真阴性人数/(真阴性人数+假阳性人数))*100%。
      1. TN/(TN+FP)*100%
      2. 指正确判断非病人的程度,也即实际无病而被正确诊断为无病的百分比。
      3. B代表非病人中被诊断为非病人的数量;D值非病人中被诊断为病人的数量。

     

    ROC曲线与AUC

    1. ROC(Receiver Operating Characteristic)和AUC(Area UnderCharacteristic)常被用来评价一个二分类器的优劣。
    2. ROC曲线一般横轴是FPR,纵轴是TPR。AUC为曲线下面的面积,一般AUC值越大,说明模型越好
      1. True Positive Rate ( TPR )  = TP /(TP + FN); TPR代表能将正例分对的概率
      2.  False Positive Rate( FPR ) = FP /(FP + TN); FPR代表将负例错分为正例的概率
      3.  
    • 纵轴:真正率(击中率)true positive rate ,TPR,称为灵敏度。所有实际正例中,正确识别的正例比例。
    • 横轴:假正率(虚报率)false positiverate, FPR,称为(1-特异度)。所有实际负例中,错误得识别为正例的负例比例

     

     

    参考链接

    1. https://blog.csdn.net/jiandanjinxin/article/details/51840829
    2. https://blog.csdn.net/index20001/article/details/77651028

     

     

     

     

     

     

     

     

     

     

    【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。