参考博客 :

• 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯公式推导 | 使用贝叶斯公式求逆向概率 )
• 【数据挖掘】贝叶斯公式应用 拼写纠正示例分析 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】贝叶斯公式在垃圾邮件过滤中的应用 ( 先验概率 | 似然概率 | 后验概率 )
• 【数据挖掘】朴素贝叶斯分类器 ( 多属性概率计算 | 朴素贝叶斯分类案例分析 )
• 【数据挖掘】拉普拉斯修正 ( 判别模型 | 概率模型 | 贝叶斯分类 | 拉普拉斯修正 | 朴素贝叶斯分类应用场景 | 朴素贝叶斯优缺点 )
• 【数据挖掘】贝叶斯信念网络 ( 马尔科夫假设 | 结构 | 有向无环图 | 参数 | 条件概率表 | 案例分析 )

一、 贝叶斯分类器

1 . 贝叶斯分类器 :

① 原理 : 基于统计学方法贝叶斯 ( Bayes ) 理论 , 预测样本某个属性的分类概率 ;

② 性能分析 : 朴素贝叶斯 分类器 , 与 决策树 , 神经网络 分类器 性能基本相同 , 性能指标处于同一数量级 , 适合大数据处理 ;

2 . 贝叶斯分类器的类型 :

① 朴素贝叶斯分类器 : 样本属性都是独立的 ;

② 贝叶斯信念网络 : 样本属性间有依赖关系的情况 ;

3 . 正向概率 与 逆向概率 :

① 正向概率 : 盒子中有 $\mathrm{N}$ 个白球 , $\mathrm{M}$ 个黑球 , 摸出黑球的概率是 $\frac{\mathrm{M}}{\mathrm{N}+\mathrm{M}}$ ;

② 逆向概率 : 事先不知道盒子中白球和黑球的数量 , 任意摸出 $\mathrm{X}$ 个球 , 通过观察这些球的颜色 , 推测盒子中有多少白球 , 多少黑球 ;

4 . 贝叶斯公式 : 有两个事件 , 事件 $A$ , 和事件 $B$ ;

公式 1

$$\mathrm{P}(\mathrm{B}|\mathrm{A})=\frac{\mathrm{P}(\mathrm{A}|\mathrm{B})\times \mathrm{P}(\mathrm{B})}{\mathrm{P}(\mathrm{A}|\mathrm{B})\times \mathrm{P}(\mathrm{B})+\mathrm{P}(\mathrm{A}|\sim \mathrm{B})\times \mathrm{P}(\sim \mathrm{B})}$$

简写形式 :

公式 2

$$\mathrm{P}(\mathrm{B}|\mathrm{A})=\frac{\mathrm{P}(\mathrm{A}\mathrm{B})}{\mathrm{P}(\mathrm{A})}$$

或

公式 3

$$\mathrm{P}(\mathrm{B}|\mathrm{A})=\frac{\mathrm{P}(\mathrm{B})\times \mathrm{P}(\mathrm{A}|\mathrm{B})}{\mathrm{P}(\mathrm{A})}$$

① 事件 $A$ 发生的概率 : 表示为 $\mathrm{P}(\mathrm{A})$ ;

② 事件 $B$ 发生的概率 : 表示为 $\mathrm{P}(\mathrm{B})$ ;

③ $AB$两个事件同时发生的概率 : 表示为 $\mathrm{P}(\mathrm{A},\mathrm{B})$ ;

④ 事件 $A$ 发生时 $B$ 发生的概率 : 表示为 $\mathrm{P}(\mathrm{B}|\mathrm{A})$ ;

⑤ 事件 $B$ 发生时 $A$ 发生的概率 : 表示为 $\mathrm{P}(\mathrm{A}|\mathrm{B})$ ;

二、 贝叶斯分类器处理多属性数据集方案

1 . 多属性特征 : 如果要处理的样本数据的特征有 $n$ 个属性 , 其取值 $\{{\mathrm{X}}_1,{\mathrm{X}}_2,\cdots ,{\mathrm{X}}_{\mathrm{n}}\}$ 组成了向量 $\mathrm{X}$ ;

2 . 后验概率 : 计算最终分类为 ${\mathrm{C}}_1$ 时 , 多个属性的取值为 $\mathrm{X}$ 向量的概率 , 即 $\mathrm{P}(\mathrm{X}|{\mathrm{C}}_1)$

3 . 朴素贝叶斯由来 : 朴素地认为这些属性之间不存在依赖关系 , 就可以使用乘法法则计算这些属性取值同时发生的概率 ;

4 . 计算单个分类概率 : 分类为 ${\mathrm{C}}_1$ 时 $\mathrm{n}$ 个属性每个取值取值概率 :

当最终分类为 ${\mathrm{C}}_1$ 时 , 第 $1$ 个属性取值 ${\mathrm{X}}_1$ 的概率为 $\mathrm{P}({\mathrm{X}}_1|{\mathrm{C}}_1)$ ;

当最终分类为 ${\mathrm{C}}_1$ 时 , 第 $2$ 个属性取值 ${\mathrm{X}}_2$ 的概率为 $\mathrm{P}({\mathrm{X}}_2|{\mathrm{C}}_1)$ ;

$$⋮$$

当最终分类为 ${\mathrm{C}}_1$ 时 , 第 $\mathrm{n}$ 个属性取值 ${\mathrm{X}}_{\mathrm{n}}$ 的概率为 $\mathrm{P}({\mathrm{X}}_{\mathrm{n}}|{\mathrm{C}}_1)$ ;

最终分类为 ${\mathrm{C}}_1$ 时 , $\mathrm{n}$ 个属性取值 $\mathrm{X}$ 向量的概率 :

$$\mathrm{P}(\mathrm{X}|{\mathrm{C}}_1)=\prod _{\mathrm{k}=1}^{\mathrm{n}}\mathrm{P}({\mathrm{X}}_{\mathrm{k}}|{\mathrm{C}}_1)$$

5 . 多属性分类概率总结 : 分类为 ${\mathrm{C}}_{\mathrm{i}}$ 时 $\mathrm{n}$ 个属性取值 $\mathrm{X}$ 向量的概率为 :

$$\mathrm{P}(\mathrm{X}|{\mathrm{C}}_{\mathrm{i}})=\prod _{\mathrm{k}=1}^{\mathrm{n}}\mathrm{P}({\mathrm{X}}_{\mathrm{k}}|{\mathrm{C}}_{\mathrm{i}})$$

6 . 上述公式中的分类属性 $\mathrm{P}({\mathrm{X}}_{\mathrm{k}}|{\mathrm{C}}_{\mathrm{i}})$ 计算方式 : 如果第 $\mathrm{k}$ 个属性的取值是离散的 , 即分类属性 , 那么通过以下公式计算 :

$$\mathrm{P}({\mathrm{X}}_{\mathrm{k}}|{\mathrm{C}}_{\mathrm{i}})=\frac{{\mathrm{S}}_{\mathrm{i}\mathrm{k}}}{{\mathrm{S}}_{\mathrm{i}}}$$

${\mathrm{S}}_{\mathrm{i}}$ 是分类为 ${\mathrm{C}}_{\mathrm{i}}$ 类型的数据集样本个数 ;

${\mathrm{S}}_{\mathrm{i}\mathrm{k}}$ 是被分类成 ${\mathrm{C}}_{\mathrm{i}}$ 类型的样本中 , 并且第 $\mathrm{k}$ 个值是 ${\mathrm{X}}_{\mathrm{k}}$ 的样本个数 ;

7 . 样本分类 :

① 样本 : 给出未知属性类型样本 , 其 $\mathrm{n}$ 个已知的属性取值为 $\mathrm{X}$ 向量 ;

② 分类个数 : 其根据分类属性可能分为 $\mathrm{m}$ 类 ;

③ 分类 : 求其取值为 $\mathrm{X}$ 向量时 , 分类为 ${\mathrm{C}}_{\mathrm{i}}$ 的概率 , 哪个概率最大 , 其被分为哪个 ${\mathrm{C}}_{\mathrm{i}}$ 类型 , 表示为

$$\mathrm{P}({\mathrm{C}}_{\mathrm{i}}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|{\mathrm{C}}_{\mathrm{i}})\mathrm{P}({\mathrm{C}}_{\mathrm{i}})}{\mathrm{P}(\mathrm{X})}$$

④ 后验概率 : 多属性取值为 $X$ 向量时 , 分类为 ${\mathrm{C}}_{\mathrm{i}}$ 的概率进行比较 , 分母都是 $\mathrm{P}(\mathrm{X})$ , 是一个常数 , 可以不考虑这种情况 , 只比较 $\mathrm{P}(\mathrm{X}|{\mathrm{C}}_{\mathrm{i}})\mathrm{P}({\mathrm{C}}_{\mathrm{i}})$ 值的大小 , $\mathrm{P}(\mathrm{X}|{\mathrm{C}}_{\mathrm{i}})\mathrm{P}({\mathrm{C}}_{\mathrm{i}})$ 值最大的情况 , 就是分类的目标分类 ${\mathrm{C}}_{\mathrm{i}}$ , 也就是后验概率 ;

文章来源: hanshuliang.blog.csdn.net，作者：韩曙亮，版权归原作者所有，如需转载，请联系作者。

原文链接：hanshuliang.blog.csdn.net/article/details/111764774