损失函数是模型中预测值与真实值不一样的程度。通常，我们把单个样本真实值与预测值的不一样程度称为损失函数L(Y,f(X))，而训练数据集的整体损失称为代价函数，训练数据集的平均损失称为经验损失（可参见学习笔记|机器学习的三要素）。损失函数可以有很多不同的设计，比较常见的有0-1损失、绝对值损失、均方误差、对数损失、合页损失、交叉熵等。

1. 0-1损失

当预测值与真实值不一样时取1，一样时取0。

0-1损失，即预测错误的数量，非常容易理解，但它不连续，且不存在梯度，没法用梯度下降进行优化，所以并不是常用的损失函数。

2. 绝对值损失

损失函数为真实值与预测值之差的绝对值。

它同样不是处处连续的，所以实际上也不是很常用。

3. 均方损失

损失函数为真实值与预测值之差的平方。

这是一个处处连续可导的函数，是线性回归中常用的损失函数。

4. Huber损失

这是由绝对值损失和均方损失组合出来的一个损失函数。

这个损失函数在预测值与真实值差距较大时取绝对值损失，从而降低异常值的影响，提高健壮性；在预测值与真实值差距较小时取均方误差，从而保证连续可导。

5. 对数损失

损失函数为条件概率的对数的负数。

这是逻辑回归中使用的损失函数。

6. 指数损失

这种损失函数对噪声非常敏感，常用于AdaBoost算法中。

7. 交叉熵损失

7.1. 二分类

这个损失函数常用于分类模型。

7.2. 多分类

其中是样本的目标类。

8. 合页损失

SVM的损失函数本质上就是一个合页损失加上正则化项。

参考文献：

1. https://zhuanlan.zhihu.com/p/58883095
2. https://mp.weixin.qq.com/s/TZhN955_EKnbZkpayNe-5A
3. https://mp.weixin.qq.com/s/RZUE8FfaE-bmyJWgaq3tIA