第1章浅谈企业级大数据平台的重要性

不论你愿不愿意承认，大数据时代已经来临了。大数据潮流引领的技术变革正在悄无声息地改变着各行各业。虽说“大数据”是近些年才火热起来的词汇，但可以说“大数据”其实一直存在，只是由于技术的局限性使得人们在很长的一段时间里没有办法能够使用全量数据。但是随着技术的发展与革新，现在人们可以使用大数据技术来处理海量的数据了，这使得很多之前只能停留在理论研究层面的算法和思想现在能够付诸行动，比如现在很火爆的深度学习。与此同时，大数据技术这一新兴的工具也让人们拥有了一种新的思维模式，即大数据思维。

大数据思维注重全量样本数据而不是局部数据，注重相关性而不是因果关系。通过分析和挖掘数据将其转化为知识，再由知识提炼成智慧以获取洞察。大数据思维在很多行业都有用武之地，比如在银行行业，基于大数据的风险控制体系就是一个很好的例子。通过大数据技术重构的机器学习算法不仅可以在全量样本数据上进行训练，还能引入更多的维度参与学习，从而构建一个比传统技术更高效、更准确的信用征信评分体系。同样，在电商行业也有很多大数据应用的例子。比如电商企业通过对手中大量的用户行为数据进行分析挖掘，可以得知用户的喜好并绘制出完善的用户画像。这使得电商企业能够更加了解自己的客户，从而对他们进行精准营销和相关商品推荐。

类似的例子数不胜数，这些案例的背后大数据技术功不可没。作为这个时代的参与者，我们的企业理应做好充足向大数据领域转型的技术准备，以免在这个时代落伍。

在这个转型的过程中最为重要的环节之一便是技术平台的建设。

1.1　缺乏统一大数据平台的问题

大数据思维需要依托大数据技术的支撑才能得以实现，所以隐藏在背后的支撑平台非常重要。正所谓下层基础决定上层建筑，没有一个牢固的地基是建不成摩天大楼的。我们不妨设想一下作为一个投身于大数据领域的企业，如果没有一个统一的大数据平台会出现什么问题。

1.1.1　资源浪费

通常在一个企业的内部会有多个不同的技术团队和业务团队。如果每个团队都搭建一套自己的大数据集群，那么宝贵的服务器资源就这样被随意地分割成了若干个小块，没有办法使出合力，服务器资源的整体利用率也无法得到保证。这种做法无疑是对企业资源的一种浪费。

其次大数据集群涉及的技术繁杂，其搭建和运维也是需要学习和运营成本的。这种重复的建设费时费力且没有意义，只会造成无谓的资源浪费。