《Python大规模机器学习》 —2.5小结
【摘要】 本节书摘来自华章计算机《Python大规模机器学习》 一书中第2章,第2.5节,作者是[荷]巴斯蒂安·贾丁(Bastiaan Sjardin)[意]卢卡·马萨罗(Luca Massaron)[意]阿尔贝托·博斯凯蒂(Alberto Boschetti),王贵财 刘春明 译。
2.5小结
在本章中,我们学习了如何通过从磁盘文本文件或数据库流化数据进行非核心学习,无论数据规模多大。这些方法肯定适用于比我们的演示示例更大的数据集 (实际上我们的演示示例可以使用非平均的强大硬件在内存中解决)。
我们还介绍了让非核心学习成为可能
的核心算法SGD,并分析了其优缺点,强调数据流必须具有真正随机性(这意味着随机顺序),才能是真正有效的数据,除非顺序也是学习目标的一部分。特别是我们引入了SGD的Scikitc-learn实现,从而将重点放在线性和逻辑的回归损失函数上。
最后,我们讨论了数据准备,介绍了数据流的哈希技巧和验证策略,并将获得的知识包含在SGD中,拟合了两种不同模型(分类和回归)。
在下一章中,我们将通过研究如何在学习模式中启用非线性和支持向量机的hinge loss来增强核心学习能力。我们还将提供Scikit-learn的替代方案,如Libline、Vowpal Wabbit和StreamSVM。虽然所有这些命令作为外部shell命令运行,但它们都能轻松通过Python 脚本进行封装和控制。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)