《Spark机器学习进阶实战》——1.2　机器学习算法

1.2　机器学习算法

根据学习方法不同可以将机器学习分为传统机器学习、深度学习、其他机器学习。参考Kaggle机器学习大调查，数据科学中更常见的还是传统经典的机器学习算法，简单的线性与非线性分类器是数据科学中最常见的算法，功能强大的集成方法也十分受欢迎。

最常用的数据科学方法是逻辑回归，而国家安全领域则更为频繁使用神经网络。总的来说，目前神经网络模型的使用频率要高于支持向量机，这可能是因为近来多层感知机要比使用带核函数的SVM有更加广泛的表现。

1.2.1　传统机器学习

传统机器学习从一些观测（训练）样本出发，试图发现不能通过原理分析获得的规律，实现对未来数据行为或趋势的准确预测。传统机器学习平衡了学习结果的有效性与学习模型的可解释性，为解决有限样本的学习问题提供了一种框架，主要用于有限样本情况下的模式分类、回归分析、概率密度估计等。传统机器学习方法的重要理论基础之一是统计学，在自然语言处理、语音识别、图像识别、信息检索和生物信息等许多计算机领域获得了广泛应用。

相关算法包括逻辑回归、隐马尔可夫方法、支持向量机方法、K近邻方法、三层人工神经网络方法、Adaboost算法、贝叶斯方法以及决策树方法等。

（1）分类方法

分类方法是机器学习领域使用最广泛的技术之一。分类是依据历史数据形成刻画事物特征的类标识，进而预测未来数据的归类情况。目的是学会一个分类函数或分类模型（也称作分类器），该模型能把数据集中的事物映射到给定类别中的某一个类。在分类模型中，我们期望根据一组特征来判断类别，这些特征代表了物体、事件或上下文相关的属性。

（2）聚类方法

聚类是指将物理或抽象的集合分组成为由类似的对象组成的多个类的过程。由聚类生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在许多应用中，一个簇中的数据对象可作为一个整体来对待。在机器学习中，聚类是一种无监督的学习，在事先不知道数据分类的情况下，根据数据之间的相似程度进行划分，目的是使同类别的数据对象之间的差别尽量小，不同类别的数据对象之间的差别尽量大。通常使用KMeans进行聚类，聚类算法LDA是一个在文本建模中很著名的模型，类似于SVD、PLSA等模型，可以用于浅层语义分析，在文本语义分析中是一个很有用的模型。

（3）回归方法

回归是根据已有数值（行为）预测未知数值（行为）的过程，与分类模式分析不同，预测分析更侧重于“量化”。一般认为，使用分类方法预测分类标号（或离散值），使用回归方法预测连续或有序值。如用户对这个电影的评分是多少？用户明天使用某个产品（手机）的概率有多大？常见的预测模型基于输入的用户信息，通过模型的训练学习，找出数据的规律和趋势，以确定未来目标数据的预测值。

（4）关联规则

关联规则是指发现数据中大量项集之间有趣的关联或相关联系。挖掘关联规则的步骤包括：① 找出所有频繁项集，这些项集出现的频繁性至少和预定义的最小支持计数一样；② 由频繁项集产生强关联规则，这些规则必须满足最小支持度和最小置信度。随着大量数据不停地收集和存储，许多业界人士对从数据集中挖掘关联规则越来越感兴趣。从大量商务事务记录中发现有趣的关联关系，可以帮助制定许多商务决策。通过关联分析发现经常出现的事物、行为、现象，挖掘场景（时间、地点、用户性别等）与用户使用业务的关联关系，从而实现因时、因地、因人的个性化推送。

（5）协同过滤

随着互联网上的内容逐渐增多，人们每天接收的信息远远超出人类的信息处理能力，信息过载日益严重，因此信息过滤系统应运而生。信息过滤系统基于关键词，过滤掉用户不想看的内容，只给用户展示感兴趣的内容，大大地减少了用户筛选信息的成本。协同过滤起源于信息过滤，与信息过滤不同，协同过滤分析用户的兴趣并构建用户兴趣模型，在用户群中找到指定用户的相似兴趣用户，综合这些相似用户对某一信息的评价，系统预测该指定用户对此信息的喜好程度，再根据用户的喜好程度给用户展示内容。

（6）特征降维

特征降维自20世纪70年代以来获得了广泛的研究，尤其是近几年以来，在文本分析、图像检索、消费者关系管理等应用中，数据的实例数目和特征数据都急剧增加，这种数据的海量性使得大量机器学习算法在可测量性和学习性能方面产生严重问题。例如，具有成百上千特征的高维数据集，会包含大量的无关信息和冗余信息，这些信息可能极大地降低学习算法的性能。因此，当面临高维数据时，特征降维对于机器学习任务显得十分重要。特征降维从初始高维特征集中选出低维特征集合，以便根据一定的评估准则最优化、缩小特征空间的过程，通常作为机器学习的预处理步骤。大量研究实践证明，特征降维能有效地消除无关和冗余特征，提高挖掘任务的效率，改善预测精确性等学习性能，增强学习结果的易理解性。