调参神器贝叶斯优化（bayesian-optimization）实战篇
【摘要】
今天笔者来介绍一下和调参有关的一些事情，作为算法工程师，调参是不可避免的一个工作。在坊间算法工程师有时候也被称为：调参侠。但是一个合格的算法工程师，调参这部分工作不能花费太多的气力，因为还有很多艰深的问题等着你去克服，怎么能在调参这块花大力气呢。所以自动调参的学习是一项必须学会的技能。这里笔者就介绍一个调参神器——贝叶斯调参
贝叶斯调...
今天笔者来介绍一下和调参有关的一些事情，作为算法工程师，调参是不可避免的一个工作。在坊间算法工程师有时候也被称为：调参侠。但是一个合格的算法工程师，调参这部分工作不能花费太多的气力，因为还有很多艰深的问题等着你去克服，怎么能在调参这块花大力气呢。所以自动调参的学习是一项必须学会的技能。这里笔者就介绍一个调参神器——贝叶斯调参
贝叶斯调参简介
说到自动调参大家首先会想到的就是网格搜索（网格搜索：“遍历所以的参数组合,从而选出最优的参数组合”)。笔者之前也经常会用到这个方法，但是后来搜索空间变大之后，发现网格搜索的速度太慢，所以转而投靠贝叶斯调参。接下来笔者简要介绍一下贝叶斯调参相对于网格搜索的优势：
- 贝叶斯调参采用高斯过程，会考虑到之前的参数信息，不断地更新先验；网格搜索则不会考虑先验信息。
- 贝叶斯调参迭代次数少，速度快；网格搜索会遍历所有的可能的参数组合，所以速度慢,参数多时易导致维度爆炸
- 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部最优。
当然贝叶斯调参背后涉及的高斯过程等一些数学知识，这里笔者水平有限，之后理解后再和大家详说，但是贝叶斯调参的思想就是:利用已有的先验信息去找到使目标函数达到全局最大的参数。
笔者通过实战也确实发现，贝叶斯调参确实能够很快的帮助我们发现一组还不错的参数。
实战部分
数据准备，随机产生一千个2分类的数据，每条数据的特征维度为10。
from sklearn.datasets import make_classifi
文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。
原文链接：wenyusuran.blog.csdn.net/article/details/107338065
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）