【数据挖掘】数据挖掘总结 ( 贝叶斯分类器 ) ★

举报
韩曙亮 发表于 2022/01/10 23:48:37 2022/01/10
【摘要】 文章目录 一、 贝叶斯分类器二、 贝叶斯分类器处理多属性数据集方案 参考博客 : 【数据挖掘】贝叶斯分类 ( 贝叶斯分类器 | 贝叶斯推断 | 逆向概率 | 贝叶斯公式 | 贝叶斯...



参考博客 :





一、 贝叶斯分类器



1 . 贝叶斯分类器 :

① 原理 : 基于统计学方法贝叶斯 ( Bayes ) 理论 , 预测样本某个属性的分类概率 ;

② 性能分析 : 朴素贝叶斯 分类器 , 与 决策树 , 神经网络 分类器 性能基本相同 , 性能指标处于同一数量级 , 适合大数据处理 ;


2 . 贝叶斯分类器的类型 :

① 朴素贝叶斯分类器 : 样本属性都是独立的 ;

② 贝叶斯信念网络 : 样本属性间有依赖关系的情况 ;


3 . 正向概率 与 逆向概率 :

① 正向概率 : 盒子中有 N \rm N N 个白球 , M \rm M M 个黑球 , 摸出黑球的概率是 M N + M \rm \cfrac{M}{N + M} N+MM ;

② 逆向概率 : 事先不知道盒子中白球和黑球的数量 , 任意摸出 X \rm X X 个球 , 通过观察这些球的颜色 , 推测盒子中有多少白球 , 多少黑球 ;


4 . 贝叶斯公式 : 有两个事件 , 事件 A A A , 和事件 B B B ;


公式 1

P ( B ∣ A ) = P ( A ∣ B ) × P ( B ) P ( A ∣ B ) × P ( B ) + P ( A ∣ ∼ B ) × P ( ∼ B ) \rm P ( B | A ) = \frac{P ( A | B ) \times P ( B ) }{ P ( A | B ) \times P ( B ) + P ( A | \sim B ) \times P ( \sim B ) } P(BA)=P(AB)×P(B)+P(AB)×P(B)P(AB)×P(B)

简写形式 :

公式 2

P ( B ∣ A ) = P ( A B ) P ( A ) \rm P ( B | A ) = \frac{P ( AB )}{P ( A )} P(BA)=P(A)P(AB)

公式 3

P ( B ∣ A ) = P ( B ) × P ( A ∣ B ) P ( A ) \rm P(B|A) = \frac{P(B) \times P(A|B)}{P(A) } P(BA)=P(A)P(B)×P(AB)

① 事件 A A A 发生的概率 : 表示为 P ( A ) \rm P(A) P(A) ;

② 事件 B B B 发生的概率 : 表示为 P ( B ) \rm P(B) P(B) ;

A B A B AB两个事件同时发生的概率 : 表示为 P ( A , B ) \rm P(A,B) P(A,B) ;

④ 事件 A A A 发生时 B B B 发生的概率 : 表示为 P ( B ∣ A ) \rm P(B | A) P(BA) ;

⑤ 事件 B B B 发生时 A A A 发生的概率 : 表示为 P ( A ∣ B ) \rm P(A | B) P(AB) ;





二、 贝叶斯分类器处理多属性数据集方案



1 . 多属性特征 : 如果要处理的样本数据的特征有 n n n 个属性 , 其取值 { X 1 , X 2 , ⋯   , X n } \rm \{X_1 , X_2 , \cdots , X_n\} {X1,X2,,Xn} 组成了向量 X \rm X X ;


2 . 后验概率 : 计算最终分类为 C 1 \rm C_1 C1 时 , 多个属性的取值为 X \rm X X 向量的概率 , 即 P ( X ∣ C 1 ) \rm P(X | C_1) P(XC1)


3 . 朴素贝叶斯由来 : 朴素地认为这些属性之间不存在依赖关系 , 就可以使用乘法法则计算这些属性取值同时发生的概率 ;


4 . 计算单个分类概率 : 分类为 C 1 \rm C_1 C1 n \rm n n 个属性每个取值取值概率 :

当最终分类为 C 1 \rm C_1 C1 时 , 第 1 1 1 个属性取值 X 1 \rm X_1 X1 的概率为 P ( X 1 ∣ C 1 ) \rm P(X_1 | C_1) P(X1C1) ;

当最终分类为 C 1 \rm C_1 C1 时 , 第 2 2 2 个属性取值 X 2 \rm X_2 X2 的概率为 P ( X 2 ∣ C 1 ) \rm P(X_2 | C_1) P(X2C1) ;

⋮ \vdots

当最终分类为 C 1 \rm C_1 C1 时 , 第 n \rm n n 个属性取值 X n \rm X_n Xn 的概率为 P ( X n ∣ C 1 ) \rm P(X_n | C_1) P(XnC1) ;

最终分类为 C 1 \rm C_1 C1 时 , n \rm n n 个属性取值 X \rm X X 向量的概率 :

P ( X ∣ C 1 ) = ∏ k = 1 n P ( X k ∣ C 1 ) \rm P(X|C_1) = \prod_{k=1}^n P( X_k | C_1 ) P(XC1)=k=1nP(XkC1)


5 . 多属性分类概率总结 : 分类为 C i \rm C_i Ci n \rm n n 个属性取值 X \rm X X 向量的概率为 :

P ( X ∣ C i ) = ∏ k = 1 n P ( X k ∣ C i ) \rm P(X|C_i) = \prod_{k=1}^n P( X_k | C_i ) P(XCi)=k=1nP(XkCi)


6 . 上述公式中的分类属性 P ( X k ∣ C i ) \rm P( X_k | C_i ) P(XkCi) 计算方式 : 如果第 k \rm k k 个属性的取值是离散的 , 即分类属性 , 那么通过以下公式计算 :

P ( X k ∣ C i ) = S i k S i \rm P( X_k | C_i ) = \frac{S_{ik}}{S_i} P(XkCi)=SiSik

S i \rm S_i Si 是分类为 C i \rm C_i Ci 类型的数据集样本个数 ;

S i k \rm S_{ik} Sik 是被分类成 C i \rm C_i Ci 类型的样本中 , 并且第 k \rm k k 个值是 X k \rm X_k Xk 的样本个数 ;


7 . 样本分类 :


① 样本 : 给出未知属性类型样本 , 其 n \rm n n 个已知的属性取值为 X \rm X X 向量 ;

② 分类个数 : 其根据分类属性可能分为 m \rm m m 类 ;

③ 分类 : 求其取值为 X \rm X X 向量时 , 分类为 C i \rm C_i Ci 的概率 , 哪个概率最大 , 其被分为哪个 C i \rm C_i Ci 类型 , 表示为

P ( C i ∣ X ) = P ( X ∣ C i ) P ( C i ) P ( X ) \rm P(C_i | X) = \frac{P(X | C_i) P(C_i)}{P(X)} P(CiX)=P(X)P(XCi)P(Ci)

④ 后验概率 : 多属性取值为 X X X 向量时 , 分类为 C i \rm C_i Ci 的概率进行比较 , 分母都是 P ( X ) \rm P(X) P(X) , 是一个常数 , 可以不考虑这种情况 , 只比较 P ( X ∣ C i ) P ( C i ) \rm P(X | C_i) P(C_i) P(XCi)P(Ci) 值的大小 , P ( X ∣ C i ) P ( C i ) \rm P(X | C_i) P(C_i) P(XCi)P(Ci) 值最大的情况 , 就是分类的目标分类 C i \rm C_i Ci , 也就是后验概率 ;

文章来源: hanshuliang.blog.csdn.net,作者:韩曙亮,版权归原作者所有,如需转载,请联系作者。

原文链接:hanshuliang.blog.csdn.net/article/details/111764774

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。