为了求解线性可分支持向量机的最优化问题，将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是线性可分支持向量机的对偶算法。这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。

（拉格朗日函数的构造方法可参见学习笔记|广义拉格朗日函数与KKT条件的应用 中的广义拉格朗日函数）

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

所以，为了得到对偶问题的解，需要先求L(ω,b,α)对ω,b的极小，再求对α的极大。

将拉格朗日函数L(ω,b,α)分别对ω,b求偏导数并令其等于0。

得

因此

一般将最大问题转化为最小问题

线性可分支持向量机学习的对偶算法：

输出：分离超平面和分类决策函数。

（1）构造并求解约束最优化问题

（2）计算

（3）求得分离超平面

分类决策函数：

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社