1. 简介

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1或-1.感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

感知机于1957年由Rosenblatt提出，是神经网络与支持向量机的基本。

2. 定义

称为感知机。其中，ω和b为感知机模型参数，ω∈叫作权值或权值向量，b∈R叫作偏置，ω⋅x表示ω和x的内积。sign是符号函数，即

3. 几何解释

线性方程 ω⋅x+b=0对应于特征空间中的一个超平面S，其中ω是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别被分为正、负两类。因此，超平面S称为分离超平面，见下图：

4. 数据集的线性可分性

给定一个数据集

5. 感知机的学习策略

假设训练数据是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数ω，b，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

损失函数的一个自然选择是误分类的总数。但是，这样的损失函数不是参数ω，b，的连续可导函数，不易优化。损失函数的另一选择是误分类点到超平面S的总距离，这是感知机所采用的。为此，首先写出输入空间中任一点到超平面S的距离：

这里，||ω||是ω的范数。

成立。

这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面S的总距离为

给定训练数据集

其中M为误分类点的集合。这个损失函数就是感知机学习的经验风险函数。

显然，损失函数L(ω,b)是非负的。如果没有误分类点，损失函数是0。而且，误分类的点越少，误分类点离超平面越近，损失函数值就越小。一个特定的样本点的损失函数：在误分类时是参数ω,b的线性函数，在正确分类时是0。

参考文献

【1】统计学习方法（第2版），李航著，清华大学出版社