参考博客 :

• 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )
• 【数据挖掘】贝叶斯公式应用 拼写纠正示例分析 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】贝叶斯公式在垃圾邮件过滤中的应用 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】朴素贝叶斯分类器 ( 多属性概率计算 | 朴素贝叶斯分类案例分析 )
• 【数据挖掘】拉普拉斯修正 ( 判别模型 | 概率模型 | 贝叶斯分类 | 拉普拉斯修正 | 朴素贝叶斯分类应用场景 | 朴素贝叶斯优缺点 )
• 【数据挖掘】贝叶斯信念网络 ( 马尔科夫假设 | 结构 | 有向无环图 | 参数 | 条件概率表 | 案例分析 )

一、 贝叶斯分类器分类的流程

已知条件 :

已知样本 : 已知若干个样本

未知样本 : 给定 $1$ 个未知样本 , 其有 $4$ 个属性组成向量 $\mathrm{X}$ , 样本的分类有两种 , $\mathrm{Y}$ 和 $\mathrm{N}$ ; ( Yes / No )

分类步骤 :

计算两个概率 , 即

① 样本取值为 $\mathrm{X}$ 向量时 , 分类为 $\mathrm{Y}$ 的概率 , 公式为 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ 含义是 : 样本分类 $\mathrm{Y}$ 的概率 $\mathrm{P}(\mathrm{Y})$ , 乘以 样本分类为 $\mathrm{Y}$ 前提下样本取值 $\mathrm{X}$ 时的概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{Y})$ 共同发生的概率 ;

② 样本取值为 $\mathrm{X}$ 向量时 , 分类为 $\mathrm{N}$ 的概率 , 公式为 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ 含义是 : 样本分类为 $\mathrm{N}$ 的概率 $\mathrm{P}(\mathrm{N})$ , 乘以 样本取值 $\mathrm{N}$ 时的概率 $\mathrm{P}(\mathrm{X}|\mathrm{N})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{N})$ 共同发生的概率 ;

上述两个概率 , 哪个概率高 , 就将该样本分为哪个分类 ;

先验概率 : $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ ;

后验概率 : $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

公式中每个元素的含义参考 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )

上述两个公式 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ 和 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 分母都是 $\mathrm{P}(\mathrm{X})$ , 只比较分子即可 , 其中先验概率 $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ 很容易求得 , 重点是求两个后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 求法 : 针对 $\mathrm{X}$ 向量中 $4$ 个分量属性的取值 , 当样品类型是 $\mathrm{Y}$ 时 , 分量 $1$ 取值为该分量属性时的概率 , 同理计算出 $4$ 个分量属性对应的 $4$ 个概率 , 最后将 四个概率相乘 ;

后验概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 再乘以先验概率 $\mathrm{P}(\mathrm{Y})$ , 就是最终的 未知样本分类为 $\mathrm{Y}$ 类型的概率 ;

最终对比样本 , ① 未知样本分类为 $\mathrm{Y}$ 类型的概率 , ② 未知样本分类为 $\mathrm{N}$ 类型的概率 , 哪个概率大 , 就分类为哪个类型 ;

二、 贝叶斯分类器分类示例 1

分类需求 : 根据 年龄 , 收入水平 , 是否是学生 , 信用等级 , 预测 " 年龄小于 30 岁 , 收入中等 , 学生 , 信用等级一般 " 的用户是否会购买商品 ;

未知样本 取值 $\mathrm{X}$ 向量 为 " 年龄小于 30 岁 , 收入中等 , 学生 , 信用等级一般 " ;

未知样本 分类为 $\mathrm{Y}$ 类型的概率 : $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$

未知样本 分类为 $\mathrm{N}$ 类型的概率 : $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$

上述两个概率的分母 $\mathrm{P}(\mathrm{X})$ 是常数 , 对比时可以忽略 , 只需要对比分子即可 ;

先验概率 $\mathrm{P}(\mathrm{Y})=\frac{9}{14}$ , $\mathrm{P}(\mathrm{N})=\frac{5}{14}$ , $9$ 个人购买商品 , $5$ 个人没有购买商品 ;

后验概率

① P ( X ∣ Y ) = P ( 年 龄 小 于 30 ∣ Y ) × P ( 收 入 中 等 ∣ Y ) × P ( 是 学 生 ∣ Y ) × P ( 信 用 等 级 一 般 ∣ Y ) = 2 9 × 4 9 × 6 9 × 6 9 \rm

② P ( X ∣ N ) = P ( 年 龄 小 于 30 ∣ N ) × P ( 收 入 中 等 ∣ N ) × P ( 是 学 生 ∣ N ) × P ( 信 用 等 级 一 般 ∣ N ) = 3 5 × 2 5 × 1 5 × 2 5

未知样本 分类为 $\mathrm{Y}$ 类型的概率 分子 : $P(X|Y)P(Y)=\frac{2}{9}\times \frac{4}{9}\times \frac{6}{9}\times \frac{6}{9}\times \frac{9}{14}\approx 0.0282186948853616$

未知样本 分类为 $\mathrm{N}$ 类型的概率 分子 : $P(X|N)P(N)=\frac{3}{5}\times \frac{2}{5}\times \frac{1}{5}\times \frac{2}{5}\times \frac{5}{14}\approx 0.0068571428571429$

该样本分类 为 $\mathrm{Y}$ , 会购买商品 ;

文章来源: hanshuliang.blog.csdn.net，作者：韩曙亮，版权归原作者所有，如需转载，请联系作者。

原文链接：hanshuliang.blog.csdn.net/article/details/111770921