学习笔记|线性支持向量机学习的对偶算法
【摘要】 线性支持向量机学习的原始问题是则其拉格朗日函数是(拉格朗日函数的构造方法可参见学习笔记|广义拉格朗日函数与KKT条件的应用 中的广义拉格朗日函数)对偶问题是拉格朗日函数的极大极小问题。首先求L(ω,b,η,α,μ)对ω,b,η的极小(可参考学习笔记|拉格朗日对偶性),有得因此再对上式求α的极大,即对偶问题:它等价于:证明: 原始问题是凸二次规划问题,解满足KKT条件。即得(可参见学习笔记|广...
线性支持向量机学习的原始问题是
则其拉格朗日函数是
(拉格朗日函数的构造方法可参见学习笔记|广义拉格朗日函数与KKT条件的应用 中的广义拉格朗日函数)
对偶问题是拉格朗日函数的极大极小问题。首先求L(ω,b,η,α,μ)对ω,b,η的极小(可参考学习笔记|拉格朗日对偶性),有
得
因此
再对上式求α的极大,即对偶问题:
它等价于:
证明: 原始问题是凸二次规划问题,解满足KKT条件。即得
求解可得
由此定理可知,分离超平面可以写成
分类决策函数可以写成
综合前面的结果,有下面的算法。
线性支持向量机学习的对偶算法:
输出:分离超平面和分类决策函数。
(1)选择惩罚参数C>0,构造并求解凸二次规划问题
(3)求得分离超平面
分类决策函数:
参考文献
【1】统计学习方法(第2版),李航著,清华大学出版社
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)