学习笔记|线性支持向量机学习的对偶算法

举报
darkpard 发表于 2021/12/01 20:36:18 2021/12/01
【摘要】 线性支持向量机学习的原始问题是则其拉格朗日函数是(拉格朗日函数的构造方法可参见学习笔记|广义拉格朗日函数与KKT条件的应用 中的广义拉格朗日函数)对偶问题是拉格朗日函数的极大极小问题。首先求L(ω,b,η,α,μ)对ω,b,η的极小(可参考学习笔记|拉格朗日对偶性),有得因此再对上式求α的极大,即对偶问题:它等价于:证明: 原始问题是凸二次规划问题,解满足KKT条件。即得(可参见学习笔记|广...

线性支持向量机学习的原始问题是

则其拉格朗日函数是

(拉格朗日函数的构造方法可参见学习笔记|广义拉格朗日函数与KKT条件的应用 中的广义拉格朗日函数)

对偶问题是拉格朗日函数的极大极小问题。首先求L(ω,b,η,α,μ)对ω,b,η的极小(可参考学习笔记|拉格朗日对偶性),有

因此

再对上式求α的极大,即对偶问题:

它等价于:

证明: 原始问题是凸二次规划问题,解满足KKT条件。即得

(可参见学习笔记|广义拉格朗日函数与KKT条件的应用

求解可得

由此定理可知,分离超平面可以写成

分类决策函数可以写成

综合前面的结果,有下面的算法。

线性支持向量机学习的对偶算法:

输出:分离超平面和分类决策函数。

(1)选择惩罚参数C>0,构造并求解凸二次规划问题

(3)求得分离超平面

分类决策函数:

参考文献

【1】统计学习方法(第2版),李航著,清华大学出版社

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。