《Spark机器学习进阶实战》——1.1.3　大数据生态环境

1.1.3　大数据生态环境

在大数据生态环境中，包括数据采集、数据存储、数据预处理、特征处理、模型构建、数据可视化等，通过分类、聚类、回归、协同过滤、关联规则等机器学习方法，深入挖掘数据价值，并实现数据生态的良性循环。

如同海量数据存储在云计算设备中，水存储在江河湖海之中；数据采集可以理解为从各种渠道聚集水进入江河湖海；数据预处理可以理解为水之蒸发、过滤、提取形成天上云的过程；云进行特征的自我变化和重组，最终形成可以转变的状态；基于机器学习的模型构建，即可以理解为不同天气状况下的云转变成雨水、雪花、冰雹、寒霜、雾气的变化过程。

水存储在江河湖海中，经过蒸发、过滤、提取形成云，云自我变化、重组，而在不同天气下转变成雨水、雪花、冰雹、寒霜、雾气过程的可视化观察，可以理解为人对自然把握和发现的过程。

数据流转生态如图1-4所示。

图1-4　数据流转生态

可以简单抽象一下，云转换成雨水、雪花、冰雹、寒霜、雾气的过程就是分类的过程，云按照任何一种变化（如雨水）汇集的过程就是聚类的过程。根据历史雨水的情况，预测即将降雨的情况就是回归过程。在某种气候条件下，雨水和雪花会并存，产生“雨夹雪”的天气情况，这就是关联过程。根据对雨水、雪花、冰雹、寒霜、雾气的喜好程度，选择观察自己喜好的天气，就是协同过滤的过程。导致天气变化的因素很多（很多和雾霾有关），处理起来有难度，在不丧失主要特征的情况，去掉部分特征，这个过程就是特征降维的过程。

通过模拟人类大脑的神经连接结构，将各种和雾霾相关的天气特征转换到具有语义特征的新特征空间，自动学习得到层次化的特征表示，从而提高雾霾的预报性能，这就是深度学习过程。