机器学习都是由模型、策略和算法构成的,即机器学习由三要素构成，可以简单地表示为:机器学习=模型+策略+算法

下面以监督学习为例论述三要素。非监督学习、强化学习也同样拥有这三要素。

1. 模型

统计学习首要考虑的问题是学习什么样的模型。在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无穷多个。

假设空间也可以定义为条件概率的集合:

2. 策略

有了模型的假设空间，机器学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。机器学习的目标在于从假设空间中选取最优模型。

首先引入损失函数与风险函数的概念。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

2.1. 损失函数和风险函数

统计学习常用的损失函数有以下几种：

(1)0-1损失函数：

(2)平方损失函数：

(3)绝对损失函数：

(4)对数损失函数或对数似然损失函数:

损失函数值越小，模型就越好。由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望是： 

给定一个训练数据集

2.2. 经验风险最小化与结构风险最小化

经验风险最小化策略认为，经验风险最小的模型是最优的模型，即求解：

当样本容量足够大时，经验风险最小化能保证有很好的学习效果，在现实中被广泛采用。但当样本容量很小时，经验风险最小化学习会产“过拟合”现象。

结构风险最小化就是为了防止过拟合而提出来的策略，等价于正则化，就是在经验风险上加上表示模型复杂度的正则化项或罚项。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义是:

结构风险最小化策略即为：

3. 算法

算法是指学习模型的具体计算方法。机器学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型，即，将机器学习问题归结为最优化问题。

如果最优化问题有显式的解析解，这个最优化问题就比较简单。但通常解析解不存在，这就需要用数值计算的方法求解。机器学习可以利用已有的最优化算法，有时也需要开发独自的最优化算法。

机器学习之间的不同，主要来自其模型、策略、算法的不同。

参考文献：

【1】统计学习方法（第2版），李航著，清华大学出版社