•  回归算法：

1. 原理：

回归算法是一种有监督算法，主要用于预测输入变量和输出变量之间的关系，即回归模型是表示输入变量到输出变量之间的映射。回归的问题等价于函数拟合，使用一条曲线希望它能够很好的拟合已知函数且很好的预测未知函数。

2. 过程：

基于给定的训练数据，构建出一个模型，然后根据新的输入数据预测相应的输出。

• 线性回归：

1. 定义：

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

2.分类：

(1) 一元线性回归：回归分析 中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示。

(2) 多元性线性回归：回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系。

3.模型：

y = w‘x+e，e为误差服从均值为0的正态分布。

4.优缺点：

(1) 优点：

1. 思想简单，实现容易。建模迅速，对于小数据量、简单的关系很有效。
2. 是许多强大的非线性模型的基础。
3. 线性回归模型十分容易理解，结果具有很好的可解释性，有利于决策分析。
4. 蕴含机器学习中的很多重要思想。
5. 能解决回归问题。

(2) 缺点：

1.  对于非线性数据或者数据特征间具有相关性多项式回归难以建模。
2. 难以很好地表达高度复杂的数据。

•  逻辑回归：

1. 定义：

逻辑回归是一种分类模型，该模型使用输入变量（特征）来预测分类结果变量，而分类结果变量（标签）又可呈现出一组有限的分类值中的其中一个值。

2. 模型：

通过函数L将w’x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是逻辑回归。

3. 优缺点：

(1) 优点：

1. 实现简单，广泛的应用于工业问题上。
2. 分类时计算量非常小，速度很快，存储资源低。
3. 便利的观测样本概率分数。
4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题。

(2) 缺点：

1. 当特征空间很大时，逻辑回归性能不是很好，容易欠拟合，而且一般准确度不会太高。
2. 适用于处理二分类问题，数据必须是线性可分的，处理非线性特征时需要进行转换，不能有逻辑回归来解决非线性问题因为他的决策边界是线性的。
3. 高度依赖正确的数据表示，也就是数据标签是否是正确的。
4. 结果是离散的，只能用来预测分类结果，特别容易过拟合。

• 线性回归与逻辑回归的联系及区别：

1. 联系：

逻辑回归是一种广义线性回归，它们的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数。

2. 区别：

(1) 因变量类型不同：

线性回归模型通常是处理因变量是连续变量的问题，如果因变量是定性变量，线性回归模型就不再适用了，需采用逻辑回归模型解决。即线性回归中的因变量是连续的，而逻辑回归中的因变量为离散的。

(2) 目的不同：

线性回归用于进行数值预测，而逻辑回归是用于处理因变量为分类变量的回归问题，它实际上是属于一种分类方法。即线性回归处理回归问题；逻辑回归处理分类问题。

(3) 损失函数不同：

线性回归的损失函数为平方损失函数，逻辑回归的损失函数为对数似然函数。