参考博客 :

• 【数据挖掘】聚类算法 简介 ( 基于划分的聚类方法 | 基于层次的聚类方法 | 基于密度的聚类方法 | 基于方格的聚类方法 | 基于模型的聚类方法 )
• 【数据挖掘】基于划分的聚类方法 ( K-Means 算法简介 | K-Means 算法步骤 | K-Means 图示 )
• 【数据挖掘】K-Means 一维数据聚类分析示例
• 【数据挖掘】K-Means 二维数据聚类分析 ( K-Means 迭代总结 | K-Means 初始中心点选择方案 | K-Means 算法优缺点 | K-Means 算法变种 )

一、 K-Means 聚类算法流程

K-Means 算法 步骤 : 给定数据集 $\mathrm{X}$ , 该数据集有 $\mathrm{n}$ 个样本 , 将其分成 $\mathrm{K}$ 个聚类 ;

① 中心点初始化 : 为 $\mathrm{K}$ 个聚类分组选择初始的中心点 , 这些中心点称为 Means ; 可以依据经验 , 也可以随意选择 ;

② 计算距离 : 计算 $\mathrm{n}$ 个对象与 $\mathrm{K}$ 个中心点 的距离 ; ( 共计算 $\mathrm{n}\times \mathrm{K}$ 次 )

③ 聚类分组 : 每个对象与 $\mathrm{K}$ 个中心点的值已计算出 , 将每个对象分配给距离其最近的中心点对应的聚类 ;

④ 计算中心点 : 根据聚类分组中的样本 , 计算每个聚类的中心点 ;

⑤ 迭代直至收敛 : 迭代执行 ② ③ ④ 步骤 , 直到 聚类算法收敛 , 即 中心点 和 分组 经过多少次迭代都不再改变 , 也就是本次计算的中心点与上一次的中心点一样 ;

给定 一组样本 , 和 一组中心点 , 计算 所有样本 到 所有中心点 的距离 , 给样本 分组 , 计算分好组的样本的中心点 , 重新计算所有样本到所有中心点的距离 , 继续进行分组 , 一直迭代执行上述操作 , 直到连续两次样本分组不再变化 ;

二、 二维数据的 K-Means 聚类

给定数据集 $\{{\mathrm{A}}_1(2,4),{\mathrm{A}}_2(3,7),{\mathrm{B}}_1(5,8),{\mathrm{B}}_2(9,5),{\mathrm{C}}_1(6,2),{\mathrm{C}}_2(4,9)\}$ , 初始中心点 $\{{\mathrm{A}}_1(2,4),{\mathrm{B}}_1(5,8),{\mathrm{C}}_1(6,2)\}$ , 使用 K-Means 算法对数据集进行聚类分析 ;

曼哈顿距离计算方式 : 以计算 ${\mathrm{A}}_1(2,4)$ 与 ${\mathrm{B}}_1(5,8)$ 的距离为例 ;

$\mathrm{d}({\mathrm{A}}_1,{\mathrm{B}}_1)=|2-5|+|4-8|=7$

1、 第一次迭代

第一次迭代 : 计算每个样本值与每个中心点的距离 , 将样本分类到最近的中心点所在的分组 , 计算每个分组新的中心值 ;

新的聚类分组 :

① 聚类 $1$ : $\{A_1\}$

② 聚类 $2$ : $\{A_2,B_1,C_2\}$

③ 聚类 $3$ : $\{B_2,C_1\}$

新的中心点计算 :

${\mathrm{C}}_1=(2,4)$

${\mathrm{C}}_2=(\frac{3+5+4}{3},\frac{7+8+9}{3})=(4,8)$

${\mathrm{C}}_3=(\frac{9+6}{2},\frac{5+2}{2})=(7,3)$

2、 第二次迭代

第二次迭代 : 计算每个样本值与每个中心点的距离 , 将样本分类到最近的中心点所在的分组 , 计算每个分组新的中心值 ;

新的聚类分组 :

① 聚类 $1$ : $\{A_1\}$

② 聚类 $2$ : $\{A_2,B_1,C_2\}$

③ 聚类 $3$ : $\{B_2,C_1\}$

新的中心点计算 :

${\mathrm{C}}_1=(2,4)$

${\mathrm{C}}_2=(\frac{3+5+4}{3},\frac{7+8+9}{3})=(4,8)$

${\mathrm{C}}_3=(\frac{9+6}{2},\frac{5+2}{2})=(7,3)$

第二次迭代与第一次迭代值相同 , 因此第三次迭代的结果就是 K-Means 聚类算法最终结果 ;

详细解析参考 【数据挖掘】K-Means 二维数据聚类分析 ( K-Means 迭代总结 | K-Means 初始中心点选择方案 | K-Means 算法优缺点 | K-Means 算法变种 )

文章来源: hanshuliang.blog.csdn.net，作者：韩曙亮，版权归原作者所有，如需转载，请联系作者。

原文链接：hanshuliang.blog.csdn.net/article/details/111831701