本教程的知识点为：机器学习算法定位、 K-近邻算法 1.4 k值的选择 1 K值选择说明 1.6 案例：鸢尾花种类预测--数据集介绍 1 案例：鸢尾花种类预测 1.8 案例：鸢尾花种类预测—流程实现 1 再识K-近邻算法API 1.11 案例2：预测facebook签到位置 1 项目描述 线性回归 2.3 数学:求导 1 常见函数的导数 线性回归 2.5 梯度下降方法介绍 1 详解梯度下降算法 线性回归 2.6 线性回归api再介绍 小结 线性回归 2.9 正则化线性模型 1 Ridge Regression (岭回归，又名 Tikhonov regularization) 逻辑回归 3.3 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测 1 背景介绍 决策树算法 4.2 决策树分类原理 1 熵 决策树算法 4.3 cart剪枝 1 为什么要剪枝 决策树算法 4.4 特征工程-特征提取 1 特征提取 决策树算法 4.5 决策树算法api 4.6 案例：泰坦尼克号乘客生存预测 集成学习基础 5.1 集成学习算法简介 1 什么是集成学习 2 复习：机器学习的两个核心任务 集成学习基础 5.3 otto案例介绍 -- Otto Group Product Classification Challenge 1.背景介绍 2.数据集介绍 3.评分标准 集成学习基础 5.5 GBDT介绍 1 Decision Tree：CART回归树 1.1 回归树生成算法（复习） 聚类算法 6.1 聚类算法简介 1 认识聚类算法 聚类算法 6.5 算法优化 1 Canopy算法配合初始聚类 聚类算法 6.7 案例：探究用户对物品类别的喜好细分 1 需求 第一章知识补充：再议数据分割 1 留出法 2 交叉验证法 KFold和StratifiedKFold 3 自助法 正规方程的另一种推导方式 1.损失表示方式 2.另一种推导方式 梯度下降法算法比较和进一步优化 1 算法比较 2 梯度下降优化算法 第二章知识补充： 多项式回归 1 多项式回归的一般形式 维灾难 1 什么是维灾难 2 维数灾难与过拟合 第三章补充内容：分类中解决类别不平衡问题 1 类别不平衡数据集基本介绍 向量与矩阵的范数 1.向量的范数 2.矩阵的范数 如何理解无偏估计？无偏估计有什么用？ 1.如何理解无偏估计

完整笔记资料代码：https://gitee.com/yinuo112/AI/tree/master/机器学习/嘿马机器学习（算法篇）/note.md

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

逻辑回归

学习目标

• 知道逻辑回归的损失函数、优化方法
• 知道逻辑回归的应用场景
• 应用LogisticRegression实现逻辑回归预测
• 知道精确率、召回率等指标的区别
• 知道如何解决样本不均衡情况下的评估
• 会绘制ROC曲线图形

3.3 案例：癌症分类预测-良／恶性乳腺癌肿瘤预测

学习目标

• 通过肿瘤预测案例，学会如何使用逻辑回归对模型进行训练

1 背景介绍

• 数据介绍

图片无法加载

原始数据的下载地址：[

数据描述

（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤

相关的医学特征，最后一列表示肿瘤类型的数值。

（2）包含16个缺失值，用”?”标出。

2 案例分析

1.获取数据
2.基本数据处理
2.1 缺失值处理
2.2 确定特征值,目标值
2.3 分割数据
3.特征工程(标准化)
4.机器学习(逻辑回归)
5.模型评估

3 代码实现

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

# 1.获取数据


names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
                   'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
                   'Normal Nucleoli', 'Mitoses', 'Class']

data = pd.read_csv("
                  names=names)
data.head()

# 2.基本数据处理




# 2.1 缺失值处理


data = data.replace(to_replace="?", value=np.NaN)
data = data.dropna()


# 2.2 确定特征值,目标值


x = data.iloc[:, 1:10]
x.head()
y = data["Class"]
y.head()


# 2.3 分割数据


x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 3.特征工程(标准化)


transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4.机器学习(逻辑回归)


estimator = LogisticRegression()
estimator.fit(x_train, y_train)

# 5.模型评估


y_predict = estimator.predict(x_test)
y_predict
estimator.score(x_test, y_test)

在很多分类场景当中我们不一定只关注预测的准确率！！！！！

比如以这个癌症举例子！！！我们并不关注预测的准确率，而是关注在所有的样本当中，癌症患者有没有被全部预测（检测）出来。

4 小结

• 肿瘤预测案例实现【知道】

• 如果数据中有缺失值，一定要对其进行处理

• 准确率并不是衡量分类正确的唯一标准

3.4 分类评估方法

学习目标

• 了解什么是混淆矩阵
• 知道分类评估中的精确率和召回率
• 知道roc曲线和auc指标

1.分类评估方法

1.1 精确率与召回率

1.1.1 混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

图片无法加载

1.1.2 精确率(Precision)与召回率(Recall)

• 精确率：预测结果为正例样本中真实为正例的比例（了解）

图片无法加载

• 召回率：真实为正例的样本中预测结果为正例的比例（查得全，对正样本的区分能力）

图片无法加载

1.2 F1-score

还有其他的评估标准，F1-score，反映了模型的稳健型

图片无法加载

1.3 分类评估报告api

• sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
• • y_true：真实目标值
• y_pred：估计器预测目标值
• labels:指定类别对应的数字
• target_names：目标类别名称
• return：每个类别精确率与召回率

ret = classification_report(y_test, y_predict, labels=(2,4), target_names=("良性", "恶性"))
print(ret)

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题

问题：如何衡量样本不均衡下的评估？

2 ROC曲线与AUC指标

2.1 TPR与FPR

• TPR = TP / (TP + FN)

• 所有真实类别为1的样本中，预测类别为1的比例

• FPR = FP / (FP + TN)

• 所有真实类别为0的样本中，预测类别为1的比例

2.2 ROC曲线

• ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

图片无法加载

2.3 AUC指标

• AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率
• AUC的范围在[0, 1]之间，并且越接近1越好，越接近0.5属于乱猜
• AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
• 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

2.4 AUC计算API

• from sklearn.metrics import roc_auc_score

• sklearn.metrics.roc_auc_score(y_true, y_score)

  • 计算ROC曲线面积，即AUC值
  • y_true：每个样本的真实类别，必须为0(反例),1(正例)标记
  • y_score：预测得分，可以是正类的估计概率、置信值或者分类器方法的返回值

# 0.5~1之间，越接近于1约好


y_test = np.where(y_test > 2.5, 1, 0)

print("AUC指标：", roc_auc_score(y_test, y_predict)

• AUC只能用来评价二分类
• AUC非常适合评价样本不平衡中的分类器性能

3 小结

• 混淆矩阵【了解】

• 真正例（TP）

• 伪反例（FN）
• 伪正例（FP）

• 真反例（TN）

• 精确率(Precision)与召回率(Recall)【知道】

• 准确率：（对不对）

  • （TP+TN）/(TP+TN+FN+FP)

• 精确率 -- 查的准不准

  • TP/(TP+FP)

• 召回率 -- 查的全不全

  • TP/(TP+FN)

• F1-score

  • 反映模型的稳健性

• roc曲线和auc指标【知道】

• roc曲线

  • 通过tpr和fpr来进行图形绘制，然后绘制之后，行成一个指标auc

• auc

  • 越接近1，效果越好
  • 越接近0，效果越差
  • 越接近0.5，效果就是胡说

• 注意：

  • 这个指标主要用于评价不平衡的二分类问题

逻辑回归

学习目标

• 知道逻辑回归的损失函数、优化方法
• 知道逻辑回归的应用场景
• 应用LogisticRegression实现逻辑回归预测
• 知道精确率、召回率等指标的区别
• 知道如何解决样本不均衡情况下的评估
• 会绘制ROC曲线图形

3.5 ROC曲线的绘制

学习目标

• 知道ROC曲线的绘制

关于ROC曲线的绘制过程，通过以下举例进行说明

假设有6次展示记录，有两次被点击了，得到一个展示序列（1:1,2:0,3:1,4:0,5:0,6:0），前面的表示序号，后面的表示点击（1）或没有点击（0）。

然后在这6次展示的时候都通过model算出了点击的概率序列。

下面看三种情况。

1 曲线绘制

1.1 如果概率的序列是（1:0.9,2:0.7,3:0.8,4:0.6,5:0.5,6:0.4）。

与原来的序列一起，得到序列（从概率从高到低排）

绘制的步骤是：

1）把概率序列从高到低排序，得到顺序（1:0.9,3:0.8,2:0.7,4:0.6,5:0.5,6:0.4）；

2）从概率最大开始取一个点作为正类，取到点1，计算得到TPR=0.5，FPR=0.0；

3）从概率最大开始，再取一个点作为正类，取到点3，计算得到TPR=1.0，FPR=0.0；

4）再从最大开始取一个点作为正类，取到点2，计算得到TPR=1.0，FPR=0.25;

5）以此类推，得到6对TPR和FPR。

然后把这6对数据组成6个点(0,0.5),(0,1.0),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。

这6个点在二维坐标系中能绘出来。

图片无法加载

看看图中，那个就是ROC曲线。

1.2 如果概率的序列是（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）

与原来的序列一起，得到序列（从概率从高到低排）

绘制的步骤是：

6）把概率序列从高到低排序，得到顺序（1:0.9,2:0.8,3:0.7,4:0.6,5:0.5,6:0.4）；

7）从概率最大开始取一个点作为正类，取到点1，计算得到TPR=0.5，FPR=0.0；

8）从概率最大开始，再取一个点作为正类，取到点2，计算得到TPR=0.5，FPR=0.25；

9）再从最大开始取一个点作为正类，取到点3，计算得到TPR=1.0，FPR=0.25;

10）以此类推，得到6对TPR和FPR。

然后把这6对数据组成6个点(0,0.5),(0.25,0.5),(0.25,1),(0.5,1),(0.75,1),(1.0,1.0)。

这6个点在二维坐标系中能绘出来。

图片无法加载

看看图中，那个就是ROC曲线。

1.3 如果概率的序列是（1:0.4,2:0.6,3:0.5,4:0.7,5:0.8,6:0.9）

与原来的序列一起，得到序列（从概率从高到低排）

绘制的步骤是：

11）把概率序列从高到低排序，得到顺序（6:0.9,5:0.8,4:0.7,2:0.6,3:0.5,1:0.4）；

12）从概率最大开始取一个点作为正类，取到点6，计算得到TPR=0.0，FPR=0.25；

13）从概率最大开始，再取一个点作为正类，取到点5，计算得到TPR=0.0，FPR=0.5；

14）再从最大开始取一个点作为正类，取到点4，计算得到TPR=0.0，FPR=0.75;

15）以此类推，得到6对TPR和FPR。

然后把这6对数据组成6个点(0.25,0.0),(0.5,0.0),(0.75,0.0),(1.0,0.0),(1.0,0.5),(1.0,1.0)。

这6个点在二维坐标系中能绘出来。

图片无法加载

看看图中，那个就是ROC曲线。

2 意义解释

如上图的例子，总共6个点，2个正样本，4个负样本，取一个正样本和一个负样本的情况总共有8种。

上面的第一种情况，从上往下取，无论怎么取，正样本的概率总在负样本之上，所以分对的概率为1，AUC=1。再看那个ROC曲线，它的积分是什么？也是1，ROC曲线的积分与AUC相等。

上面第二种情况，如果取到了样本2和3，那就分错了，其他情况都分对了；所以分对的概率是0.875，AUC=0.875。再看那个ROC曲线，它的积分也是0.875，ROC曲线的积分与AUC相等。

上面的第三种情况，无论怎么取，都是分错的，所以分对的概率是0，AUC=0.0。再看ROC曲线，它的积分也是0.0，ROC曲线的积分与AUC相等。

很牛吧，其实AUC的意思是——Area Under roc Curve，就是ROC曲线的积分，也是ROC曲线下面的面积。

绘制ROC曲线的意义很明显，不断地把可能分错的情况扣除掉，从概率最高往下取的点，每有一个是负样本，就会导致分错排在它下面的所有正样本，所以要把它下面的正样本数扣除掉（1-TPR，剩下的正样本的比例）。总的ROC曲线绘制出来了，AUC就定了，分对的概率也能求出来了。

3 小结

• ROC曲线的绘制【知道】

• 1.构建模型，把模型的概率值从大到小进行排序

• 2.从概率最大的点开始取值，一直进行tpr和fpr的计算，然后构建整体模型，得到结果
• 3.其实就是在求解积分（面积）

决策树算法

学习目标

• 掌握决策树实现过程
• 知道信息熵的公式以及作用
• 知道信息增益、信息增益率和基尼指数的作用
• 知道id3,c4.5，cart算法的区别
• 了解cart剪枝的作用
• 知道特征提取的作用
• 应用DecisionTreeClassifier实现决策树分类

4.1 决策树算法简介

学习目标

• 知道什么是决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

决策树：

• 是一种树形结构，本质是一颗由多个判断节点组成的树
• 其中每个内部节点表示一个属性上的判断，
• 每个分支代表一个判断结果的输出，
• 最后每个叶节点代表一种分类结果。

怎么理解这句话？通过一个对话例子

图片无法加载

想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！

上面案例是女生通过定性的主观意识，把年龄放到最上面，那么如果需要对这一过程进行量化，该如何处理呢？

此时需要用到信息论中的知识：信息熵，信息增益

小结

• 决策树定义：

• 是一种树形结构，

• 本质是一颗由多个判断节点组成的树