【模型评估(一)】AI市场模型评估端到端流程打通
【摘要】 模型评估一般是从精确率、召回率、F1值、ROC等指标评判模型的好坏，基于上述精度指标，AI市场预置算法的模型评估还新增了敏感度分析、计算性能分析、热力图、抽象特征分布、对抗性评估等几个指标评估模型。并根据这些指标，给予一些优化建议，下文就是AI市场resnet_v1_50预置算法的端到端流程。
1 概述
模型评估一般从以下几个指标评判模型的好坏，然后针对不同的指标情况，给出一些优化方向的建议。
精度评估
以二分类为例子。
-
准确率(accuracy、查准率):正确分类的样本占总样本个数的比例。为了避免测试集中正反例不平衡情况下，提出了精确率和召回率。
-
精确率(precision、查全率):是指预测为正例中真实正例所占的比例。
-
召回率(Recall):是指真实的正例中预测为正例所占的比例。
-
P-R曲线(Precision-Recall):是以召回率为横坐标，精确率为纵坐标的图。
-
F1值：综合P及R的加权调和平均级数。
-
混淆矩阵:即根据预测结果和实际结果绘制的矩阵表格，如上图二分类样例中的图片。
-
ROC(Receiver Operating Characteristic):以FPR(False Positive Rate,假正例率,假阳性率)为横坐标，TPR(True Positive Rate,真正例率，真阳性率)为纵坐标绘制的图。
1.选择了sensitivity(灵敏度)和specificity(特异度)两个可以去除样本不平衡的指标
2.AUC(Area Under Curve)：一般指ROC曲线下部分的面积。
2 AI市场模型评估支持情况
(1)目前已经支持模型评估的预置算法
图像分类
物体检测
3 ResNet_v1_50实践流程
(1)准备工作
请参见 账号申请 和 数据准备，注意模型评估当前仅支持manifest数据集且必须切分
(2)市场订阅
进入上面AI市场的算法连接，点击订阅按钮
(3)训练评估
进入训练作业算法管理，选择市场订阅下来的算法创建训练作业，选择之前发布切分好的数据集，就可以开始训练了。
(4)查看评估结果
4 参考文档
https://www.jianshu.com/p/d7a06a720a2b
https://www.zhihu.com/question/30643044
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）