《企业级大数据平台构建：架构与实现》——1.3　企业级大数据平台需要具备的基本能力

1.3　企业级大数据平台需要具备的基本能力

既然化零为整的大数据平台有这么多的优势，那么这个平台落到实处应该长什么样子呢？我们不妨更进一步来探讨一下这个问题。还记得之前我们谈到过大数据思维重视的是全量样本数据而不是局部数据，在企业运营过程中产生的海量数据是企业珍贵的财产，从这些数据中可以挖掘出宝藏。对于大数据平台的一切能力需求可以说都是由这些“大数据”的特性产生的。

那么这些大数据是从何来而的呢？这得益于IT技术的迅猛发展，ERP、CRM这类IT系统在多个行业均得以实施。同时随着移动互联网、智能穿戴设备和物联网等领域的迅猛发展，企业在运营的过程中会接收到大量的数据，这些数据可能是来自于生产系统产出的数据，也可能是终端设备的用户数据或是来自于机器产生的日志数据。面对海量的数据，我们会遇到一个又一个接踵而至的问题。

为了支撑一个与数据量“体积相当”的存储和计算平台，其集群规模必定不会小。所以我们首先会面临如何管理一个单体大集群的问题。其次，当数据接入之后，我们又会面临如何高效地存储和查询这些数据的问题。接着还会面临如何管理这些数据、如何保障数据安全等一系列问题。

这些现实的问题直接刻画出一个企业级大数据平台需要具备的基本能力。接下来我们具体看一看这些能力。

1.3.1　集群管理与监控

大数据的相关服务之所以能够处理与存储海量数据，其根本原因是采用了分而治之的设计思想。一台服务器的存储容量达到了瓶颈就分成多台服务器进行分布式存储；一台服务器的计算能力达到了瓶颈就使用多台服务器进行分布式运算。再考虑到服务的高可用、负载均衡等要求，自然而然地又会产生一些主备和负载的方案出来。讲到这里，我们已经可以看出，大数据的服务背后是由一系列分布式集群服务组成的。这意味着对于大数据平台的运维团队而言，需要面对很多的服务器以及在这些服务器部署的很多的组件与服务。

如果没有对整个集群进行统筹的管理与监控的能力，那么运维团队在做集群运维的时候将无从下手。所以大数据平台需要集群能够统筹地管理与监控。