本系列通过一系列论文的解读，为大家提供人工智能与人类智慧相结合的一些思路。
本期的论文是Expert-augmented machine learning。这篇文章提供了这样一种思路：由机器提取特定问题，再由人类解答，以将二者智慧相结合。以下是具体内容。

机器学习在越来越多的领域提供无价的价值，然而机器学习的成功受限于数据质量；机器学习的采用受限于给定模型的置信度。经验观察性质的人机表现作为任务委派给人或机器的标准。事实上，最优的学习策略可能结合机器与人的力量。专家增强型的机器学习（EAML）是一种自动方法，指导提取专家信息并将其融入机器学习模型。我们使用大规模重症监护患者数据得出126条决策原则来预测死亡率。我们使用在线平台让15位医生评估每条规则相对总人群的相对风险。我们将医生评估的风险与经验风险比较，发现医生在大多数情况下同意经验风险，确实有高或低估真实风险的显著例外。通过最大分歧原则，我们识别了数据的错误。基于最大分歧原则过滤规则后，我们提升了泛化性能，降低了训练所需数据量。EAML为自动创建特定问题的先验提供了平台，有助于在关键应用中提高鲁棒性。

导语

机器学习算法在广大的领域应用，但有数据无效与泛化性能差的缺点。与之相对的，人类能利用先验信息与显著的更少的数据学习。创建通用的方法来提取、利用人类的先验知识是机器学习的发展方向。
专家系统曾经被提出，以模仿人类决策解决人工智能问题。专家系统引入了硬编码的多种由领域专家艰难总结的如果-就规则。这种方法存在很大问题，因为需要大量规则，且不能自动创建。实践中经常有规则不足、表现差的问题。这种方法淡出了视野，人们开始关注需要极少人类介入的机器学习。最近，有英国专家强调了人类专家监督模型的训练、验证与更新的重要性。

学习算法利用数据的相对关系，将一系列特征映射到感兴趣的输出。这种算法的成功与否并不取决于协变量中实际信息的多少，而是数据中的噪声多少、隐藏的混杂因素、可获得的训练样本数。因为缺乏任何现实世界知识，机器学习算法经常犯人类无法注意到的错误。如算法认为肺炎患者比非肺炎患者的死亡率更低，但实际上是因为他们能得到急救。这样的模型进行实际应用时有灾难性后果。不幸的是，在相同经验分布上取得的优秀结果往往被认为捕捉到了信息的证据。

在高风险应用中，机器学习的最大挑战是自动提取、集成先验知识，使得机器学习算法能泛化到新样本上，且使用较少数据。我们假设将人类专家拥有的生理知识与机器学习模型相结合能提高模型的泛化能力。我们将介绍专家增强的机器学习，它能自动获取特定问题的先验并将其集成至机器学习模型中。这个流程让训练模型所需数据更少、更鲁棒、性能不随时间衰减。相较于传统专家系统的硬编码算法，或如当前机器学习算法依赖可能的虚假关系，专家增强的系统引导获得先验知识来提高最终模型。

EAML从人类专家获得特定问题的先验

为了自动获得特定问题的先验，我们使用了一种多步方法。

1. 使用MIMIC-2 ICU数据集训练RuleFit网络，数据集中包含17项于ICU评分中流行的人口与生理学特征。这产生了127项规则。
2. 让医生将子类的风险与大众相比较
3. 将经验风险绘图并排序。平均估计风险与经验风险间有单调关系。

Delta 排名有助于发现隐藏的干扰因子

每条规则定义的子人群的死亡率被计算。经验风险的排名与先验风险排名被比较。我们假设当排序差超过90置信区间时，要么是医生给出了错误判断，要么是隐藏的干扰项修改了风险。这个假设基于经验风险来自于机器学习算法，而医生根据医学知识与经验判断。

EAML提高了泛化能力

在MIMIC-II数据集训练，在MIMIC-III（2）数据集应用

讨论

虽然机器学习越来越受欢迎，但机器学习算法数据效率低，通常对未知数据表现差。我们的EAML是首个从专家自动提取临床关于特定问题先验，并将其整合至机器学习中的。之前的工作都是根据特定病例的尝试。这里我们将原始推理规则转化为简单规则，并让医生评估亚群的风险。这使得我们：发现隐藏因子；泛化性能提高；随时间变化减小；使用更少数据训练；说明交叉验证的局限性。

论文之问

1. 论文试图解决什么问题？
   机器学习数据不足与泛化性能差的问题。
   减少机器学习算法对数据质量与数量的依赖性，提高泛化性能与鲁棒性。
2. 这是否是一个新的问题？
   不是，但本工作将提取特定专家信息做到了自动化
3. 这篇文章要验证一个什么科学假设？
   将专家信息与机器学习算法相结合能提高学习质量
4. 论文中提到的解决方案之关键是什么？
   通过机器学习模型提取问题，获得特定问题上的专家经验，与算法习得的经验风险相结合
5. 论文中的实验是如何设计的？
   实验有两部分：一部分通过研究专家数据与经验数据的误差分析同一数据集的问题；另一部分通过一个数据集训练，在不同数据集进行测试，体现EAML强大的泛化能力
6. 用于定量评估的数据集是什么？代码有没有开源？
   使用MIMIC数据集评估。未开源
7. 论文中的实验及结果有没有很好地支持需要验证的科学假设？
   论文中提出的假设被较好地验证了
8. 这篇论文到底有什么贡献？
   提供了一种将人工智慧与算法相结合的思路
9. 下一步呢？有什么工作可以继续深入？
   思考其他可能的结合方式，进一步提高模型性能。