《Spark机器学习进阶实战》——2.2　数据分析流程

2.2　数据分析流程

数据分析可以帮助我们从数据中发现有用信息，找出有建设性的结论，并基于分析结论辅助决策。如图2-2所示，数据分析流程主要包括业务调研、明确目标、数据准备、特征处理、模型训练与评估、输出结论6个关键环节。

数据分析能力并非一朝一夕养成的，需要长期扎根业务进行积累，需要长期根据数据分析流程一步一个脚印地分析问题，培养自己对数据的敏感度，从而养成用数据分析、用数据说话的习惯。当你可以基于一些数据，根据自己的经验做出初步的判断和预测，你就基本拥有数据思维了。

接下来对数据分析流程进行针对性的讲解。

2.2.1　业务调研

数据分析的常见困难是不知道最值得调研的问题是什么、无法获取大量可靠的数据、复杂问题难以拆解、难以追查问题背后的真实原因、难以提前预判方案是否可行。

调研主要分为3个阶段。

1）调研准备阶段，这个阶段要进行调研计划编写和确认、调研背景资料的准备，这个阶段的工作质量将对能否顺利开展调研工作起到关键保障作用。

2）调研实施阶段，根据调研计划完成各项调研工作，倾听客户的痛点、难点、堵点，思考解决痛点、攻克难点、疏通堵点的思路和方法。

3）调研总结阶段，根据现场调研结果，总结并提出合理数据分析解决方案，找出问题的真正原因，趁热打铁，把后续工作落实到一定程度，此时调研工作才能算结束。

调研是数据分析的起点，也是指引后续分析的灯塔。很多时候，调研清楚了，数据采集到了，结论就很明显了。