本教程的知识点为：机器学习算法定位、 K-近邻算法 1.4 k值的选择 1 K值选择说明 1.6 案例：鸢尾花种类预测--数据集介绍 1 案例：鸢尾花种类预测 1.8 案例：鸢尾花种类预测—流程实现 1 再识K-近邻算法API 1.11 案例2：预测facebook签到位置 1 项目描述 线性回归 2.3 数学:求导 1 常见函数的导数 线性回归 2.5 梯度下降方法介绍 1 详解梯度下降算法 线性回归 2.6 线性回归api再介绍 小结 线性回归 2.9 正则化线性模型 1 Ridge Regression (岭回归，又名 Tikhonov regularization) 逻辑回归 3.3 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测 1 背景介绍 决策树算法 4.2 决策树分类原理 1 熵 决策树算法 4.3 cart剪枝 1 为什么要剪枝 决策树算法 4.4 特征工程-特征提取 1 特征提取 决策树算法 4.5 决策树算法api 4.6 案例：泰坦尼克号乘客生存预测 集成学习基础 5.1 集成学习算法简介 1 什么是集成学习 2 复习：机器学习的两个核心任务 集成学习基础 5.3 otto案例介绍 -- Otto Group Product Classification Challenge 1.背景介绍 2.数据集介绍 3.评分标准 集成学习基础 5.5 GBDT介绍 1 Decision Tree：CART回归树 1.1 回归树生成算法（复习） 聚类算法 6.1 聚类算法简介 1 认识聚类算法 聚类算法 6.5 算法优化 1 Canopy算法配合初始聚类 聚类算法 6.7 案例：探究用户对物品类别的喜好细分 1 需求 第一章知识补充：再议数据分割 1 留出法 2 交叉验证法 KFold和StratifiedKFold 3 自助法 正规方程的另一种推导方式 1.损失表示方式 2.另一种推导方式 梯度下降法算法比较和进一步优化 1 算法比较 2 梯度下降优化算法 第二章知识补充： 多项式回归 1 多项式回归的一般形式 维灾难 1 什么是维灾难 2 维数灾难与过拟合 第三章补充内容：分类中解决类别不平衡问题 1 类别不平衡数据集基本介绍 向量与矩阵的范数 1.向量的范数 2.矩阵的范数 如何理解无偏估计？无偏估计有什么用？ 1.如何理解无偏估计

完整笔记资料代码->：https://gitee.com/yinuo112/AI/tree/master/机器学习/嘿马机器学习（算法篇）/note.md

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

线性回归

学习目标

• 掌握线性回归的实现过程
• 应用LinearRegression或SGDRegressor实现回归预测
• 知道回归算法的评估标准及其公式
• 知道过拟合与欠拟合的原因以及解决方法
• 知道岭回归的原理及与线性回归的不同之处
• 应用Ridge实现回归预测
• 应用joblib实现模型的保存与加载

2.5 梯度下降方法介绍

学习目标

• 掌握梯度下降法的推导过程
• 知道全梯度下降算法的原理
• 知道随机梯度下降算法的原理
• 知道随机平均梯度下降算法的原理
• 知道小批量梯度下降算法的原理

上一节中给大家介绍了最基本的梯度下降法实现流程，本节我们将进一步介绍梯度下降法的详细过算法推导过程和常见的梯度下降算法。

1 详解梯度下降算法

1.1梯度下降的相关概念复习

在详细了解梯度下降的算法之前，我们先复习相关的一些概念。

• 步长(Learning rate)：

• 步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用前面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。

• 特征(feature)：

• 指的是样本中输入部分，比如2个单特征的样本$(x^{(0)},y^{(0)}),(x^{(1)},y^{(1)})$,则第一个样本特征为$x^{(0)}$，第一个样本输出为$y^{(0)}$。

• 假设函数(hypothesis function)：

• 在监督学习中，为了拟合输入样本，而使用的假设函数，记为$h_\theta (x)$。比如对于单个特征的m个样本$(x^{\left(i\right)},y^{\left(i\right)})(i=\mathrm{}$