【《机器学习》周志华学习笔记2.4】~比较检验

机器学习中的性能比较为什么 比较复杂？

1. 首先，我们希望比较的是泛化 性能，然而通过实验评估获得的只是测试集上的性能，两者对比结果可能未必相同
2. 测试集上的性能与测试集本身选择有很大的关系，不同大小的测试集会得到不同的结果，即便是相同大小的测试集，若测试样例不同，测试结果也可能不同
3. 很多机器学习算法本身有一定的随机性，即便用相同的参数设置，在同一个测试集多次运行，其 结果也可能不同。

统计假设检验（hypothesis test）为学习器性能 比较提供了重要依据！

假设检验 

假设检验中的“假设”是对学习器 泛化错误率分布额某种判断或者猜想。现实任务中并不知道学习器的 泛化错误率，只能获知其测试错误率，泛化错误率与测试错误率相差很近，因此根据测试错误率推出泛化错误率 的分布。

泛化错误率为的学习器在一个样本上犯错的概率是

测试错误率意味着m个测试样本中恰好有个被误分类

假定独立采样，泛化错误率为的学习器将其中个样本误分类，其余样本全部分类正确的概率是

文章来源: kings.blog.csdn.net，作者：人工智能博士，版权归原作者所有，如需转载，请联系作者。

原文链接：kings.blog.csdn.net/article/details/89152182