《机器学习：算法视角（原书第2版）》 —2.2.7　度量精度

2.2.7　度量精度

有一种不同的方法可以评估学习系统的精度，遗憾的是，这种方法虽然具有不同的含义，但也使用了词语精度（precision）。这里的概念是将机器学习算法视为度量系统。我们提供输入并查看得到的输出。甚至在将它们与目标值进行比较之前，我们可以度量一些关于算法的内容：如果输入一组类似的输入，那么希望得到类似的输出。这种算法可变性的度量也称为精度，它告诉我们算法所做的预测是多么可重复。将精度视为概率分布的方差可能是有用的：它指出在平均值上下浮动多少。

关键在于，算法是精确的并不意味着它是准确的——如果总是给出错误的预测，则可能是完全错误的。算法预测与现实匹配程度的一个衡量标准称为真实度（trueness），它可以被定义为正确输出和预测之间的平均距离。除非某些类的某些概念彼此相似，否则真实度通常对分类问题没有多大意义。图2-9以传统方式说明了真实度和精度的概念：作为飞镖游戏，有四个例子，玩家投掷的三个飞镖具有不同的真实度和精度。

图2-9　假设玩家的目标是飞镖得分最高的20分翻倍（每个得分的数字都是它们标记的数字，外侧的窄带得分翻两倍，内侧的窄带得分翻三倍；位于“靶心”的外侧和内侧分别得25分和50分），这四张照片分别显示了不同的结果。左上角：非常准确：高精度和真实度。右上角：低精度，但良好的真实度。左下角：高精度，但低真实度。右下角：合理的真实度和精度，但实际输出不是很好（感谢Stefan Nowicki提供用于拍摄这些照片的飞镖）本节考虑了机器学习的终点，查看输出，并考虑了在输入数据方面需要做多少数据集等。在下一节中，我们将回到起点，考虑如何通过处理概率来分析数据集。