《数字化转型之路》 —2.2　大数据：挖掘数据价值的发动机

2.2　大数据：挖掘数据价值的发动机

数据作为信息的载体，已经成为数字化的核心。数据所蕴含的巨大能量，是商业模式创新、业务流程优化、商业决策制定的核心依据。随着业务类型的多样化、智能产品的百花齐放，越来越多的数据被源源不断地创造出来。于是量变最终导致了质变，数据从单纯的信息记录变成了巨大价值的矿藏。

大数据技术就是信息矿藏的开采和加工工具，它让人们在结构化数据之外，进一步发掘了多种数据类型和巨大数据体量下无与伦比的商业价值。当前数据已经成为关键的生产要素，也是企业竞争力的重要组成部分。人们把当前的时代称为DT时代，数据得以充分的洞察和流通，从而成为业务创新、产业升级、社会生产变革的重要源泉。

2.2.1　大数据的历程与特征

自从“大数据”一词于2010年在各种媒体渠道上成为热议的话题以来，大数据的神秘面纱便慢慢被揭开了，其也从一个热门的概念变成了越来越多的组织开始部署和应用的关键技术。

在企业的业务系统完全基于关系型数据库来处理所有的结构化业务数据时，互联网企业的业务场景则更多地考虑如何高效处理大量文本形式的网页和URL链接等非结构化数据，因此互联网企业首先开始投入对分布式数据分析引擎的研发。终于在2003年Google基于自身的成熟系统实践，向业界公开发布了三篇论文：GFS（Google文件系统）、MapReduce和Bigtable。这三篇被称为“Google三驾马车”的论文催生了开源社区的Hadoop的出现，而Hadoop与之对应的组件则分别是HDFS、MapReduce和HBase。

大数据在企业中大规模应用，一个主要原因是数据规模呈现出了指数级增长的态势，但显然不能把大数据简单理解为数据量大，因此我们来简单回顾一下大数据的“4V”特征：

Volume（容量）：根据Gartner的研究，全球新产生的数据正在以至少50%的速度递增，所以企业数据量不断增加是一个现实，但是企业对大数据的诉求不应该仅限于对数据量的诉求，否则海量数据的存储就会反过来成为一项不断增长的成本压力。企业应该综合考虑大数据的其他三个特征来合理收集、加工和分析数据。

Variety（多样化）：数据的多样化分为两个维度，一个维度是数据本身的构成，它应该包括结构化数据（关系型数据库所存储和处理的数据）、半结构化数据（Web、日志等文本数据）和非结构化数据（视频、音频、图像等数据）。另一个维度应该是数据来源的多样性，除了传统生产系统的数据，还可以考虑有选择地引入传感器的数据、消费行为及数字化生态系统中的其他数据源。数据的多样性能够为数据分析提供更多的广度和维度，也使得更多层次的逻辑分析成为可能。

Velocity（速度）：数据分析的输出往往是商业决策、产品改进或者流程优化的重要依据，因此能否快速实现对数据的分析成为企业的重要诉求。大数据技术的演进，也一直在践行着对速度的不懈追求。例如，相比于严重依赖数据写盘操作的Hadoop MapReduce框架，Spark基于内存的技术模式则在迭代运算方面展现了无与伦比的优势。

Value（价值）：对价值的追求是企业引入大数据的终极目标。上面所列的3个“V”更多地展现了大数据与传统技术及商业智能（BI）的特征差异，但如果不能实现数据的价值体现，那么前三者对企业而言便仅意味着盲目的技术投入而不知意义何在。因此对于价值的诉求不是仅依靠技术投入就能够实现的，更需要专业的数据分析人员结合经营策略、业务场景来为商业决策设计相应的分析模型。