1. 合页损失函数介绍

线性支持向量机学习还有另外一种解释，就是最小化以下目标函数：

目标函数的第1项是经验损失或经验风险，函数

称为合损失函数。下标“+”表示以下取正值的函数

2. 正则化合页损失最优化与线性支持向量机最优化的等价性

定理： 线性支持向量机原始最优化问题：

等价于正则化合页损失最优化问题

证明：

正则化合页损失最优化问题可以写成原始最优化问题

令

则

因此，正则化合页损失最优化问题可以写成

等价于原始最优化问题

反之，也可将正则化合页损失最优化问题写成原始最优化问题。

3. 合页损失函数图形解析

图形来源于参考文献2

图中还画出了0-1损失函数，可以认为它是二类分类问题的真正的损失函数，而合页损失函数0-1损失函数的上界。由于0-1损失函数不是连续可导的，直接优化由其构成的目标函数比较困难，可以认为线性支持向量机是优化由0-1损失函数的上界构成的目标函数。这时的上界损失函数又称为代理损失函数。

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社
【2】https://zhuanlan.zhihu.com/p/48752808