监督学习的应用主要在三个方面：分类问题、标注问题和回归问题。

1. 分类问题

分类是监督学习的一个核心问题。在监督学习中，当输出变量Y取有限个离散值时，预测问题就是分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器。分类器对新的输入进行输出的预测，称为分类。可能的输出称为类别。分类的类别为多个时，称为多分类问题。

分类问题包括学习和分类两个过程。在学习过程中，根据已知的训练数据集利用有效的学习方法学习一个分类器；在分类过程中，利用学习的分类器对新的输入实例进行分类。

评价分类器性能的指标一般是分类准确率，其定义是：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。也就是损失函数是0-1损失时测试数据集上的准确率。

对于二分类问题常用的评价指标是精确率与召回率。通常以关注的类为正类，其他类为负类，分类器在测试数据集上的预测或正确或不正确，4种情况出现的总数分别记作：

1. TP——将正类预测为正数，预测为正数且预测正确；
2. FN——将正类预测为负数，预测为负数且预测错误；
3. FP——将负类预测为正数，预测为正数且预测错误；
4. TN——将负类预测为负数，预测为负数且预测正确。

精确率定义为：

召回率定义为：

此外，还有值，是精确率和召回率的调和均值，即

精确率和召回率都高时，

可用于分类的学习方法包括：k近邻法、感知机、相互贝叶斯法、决策树、决策列表、逻辑回归模型、支持向量机、提升方法、贝叶斯网络、神经网络、Winnow等。

2. 标注问题

标注也是一个监督学习问题。可以认为标注问题是分类问题的一个推广，标注问题又是更复杂的结构预测问题的简单形式。标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。

标注问题同样分为学习和标注两个过程。首先给定一个训练数据集

标注常用的统计学习方法有隐马尔可夫模型和条件随机场。

标注问题在信息抽取、自然语言处理等领域被广泛应用，是这些领域的基本问题。

3. 回归问题

回归是监督学习的另一个重要问题。回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。回归模型正是表示从输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：选择一个函数曲线使其很好地拟合已知数据且很好地预测未知数据。

回归问题同样分为学习和预测两个过程。

回归问题按输入变量的个数，分类一元回归和多元回归；按输入变量和输出变量之间的关系的类型，分为线性回归和非线性回归。

回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以由著名的最小二乘法求解。

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社