《Python大规模机器学习》—2.5 ​小结

2.5    小结

在本章中，我们学习了如何通过从磁盘文本文件或数据库流化数据进行非核心学习，无论数据规模多大。这些方法肯定适用于比我们的演示示例更大的数据集 (实际上我们的演示示例可以使用非平均的强大硬件在内存中解决)。

我们还介绍了让非核心学习成为可能

的核心算法SGD，并分析了其优缺点，强调数据流必须具有真正随机性(这意味着随机顺序)，才能是真正有效的数据，除非顺序也是学习目标的一部分。特别是我们引入了SGD的Scikitc-learn实现，从而将重点放在线性和逻辑的回归损失函数上。

最后，我们讨论了数据准备，介绍了数据流的哈希技巧和验证策略，并将获得的知识包含在SGD中，拟合了两种不同模型(分类和回归)。

在下一章中，我们将通过研究如何在学习模式中启用非线性和支持向量机的hinge loss来增强核心学习能力。我们还将提供Scikit-learn的替代方案，如Libline、Vowpal Wabbit和StreamSVM。虽然所有这些命令作为外部shell命令运行，但它们都能轻松通过Python 脚本进行封装和控制。