《Spark机器学习进阶实战》——3.2.5　K-近邻

3.2.5　K-近邻

K-近邻（KNN）算法是一种基于实例的学习方法，它的原理非常简单，对于输入的实例，找到离它最近的K个实例，K个实例中哪一类数量更多，就把输入的实例分为哪类。前面介绍的分类算法模型训练和预测是分开的，而基于实例的模型训练和预测是在一起的，它不具有显式的学习过程。

K-近邻算法是一种经典的基于距离的分类算法，它的本质实际上是对特征空间的划分，通常采用的距离包括欧式距离、曼哈顿距离和余弦相似度。

欧式距离：

曼哈顿距离：

余弦相似度：

K值的选择对K-近邻算法的分类效果非常重要，K值过小会使模型变得复杂，容易过拟合，K值过大会使模型过于简单，分类误差较大。在实际应用中，K值一般取比较小的数值，并采用交叉验证的方法来选取最优的K值。MLlib中并没有KNN的原生实现，可以使用第三方库https://spark-packages.org/package/JMailloH/kNN_IS。