《企业级大数据平台构建:架构与实现》—— 1.2 构建统一大数据平台的优势

举报
华章计算机 发表于 2019/06/06 15:25:15 2019/06/06
【摘要】 本书摘自《企业级大数据平台构建:架构与实现》——书中第1章,1.2节,作者是朱凯。

1.2 构建统一大数据平台的优势

如果我们能够化零为整,在企业内部从宏观、整体的角度设计和实现一个统一的大数据平台,引入单一集群、单一存储、统一服务和统一安全的架构思想就能较好地解决上述的种种问题。

1.?资源共享

使用单一集群架构,可以实现通过一个大集群来整合所有可用的服务器资源,通过一个大集群对外提供所有的能力。这样将所有服务器资源进行统一整合之后,能够更加合理地规划和使用整个集群的资源,并且能够实现细粒度的资源调度机制,从而使其整体的资源利用率更加高效。同时集群的存储能力和计算能力也能够突破小集群的极限。

不仅如此,因为只使用了一个大集群,所以我们现在只需要部署和维护一个集群,不需要重复投入人力资源进行集群的学习和维护。

2.?数据共享

使用单一存储架构,可以实现将企业内部的所有数据集中存储在一个集群之内,方便进行各种业务数据的整合使用。这样我们便能够结合业务实际场景对数据进行关联使用,从而充分利用大数据技术全量数据分析的优势。同时,在这种单一存储架构之下,各种业务数据也可以进行统一的定义和存储,自然的也就不会存在数据重复存储和沟通成本增长的问题了。

3.?服务共享

通过统一服务架构,我们可以站在宏观服务化设计的角度来考虑问题,可将一套统一服务设计规则应用到所有的服务实现之上,同时也能统一服务的访问入口与访问规则。

除此之外,因为所有的服务是由一个统一的大集群提供的,这便意味着这些服务不存在孤岛问题,可以进行整合使用。

4.?安全保障

通过统一安全架构,可以从平台层面出发,设计并实现一套整体的安全保证方案。在单一集群架构的基础之上,可以实现细粒度的资源隔离;在单一存储架构的基础之上可以实现细粒度的数据授权;在单一服务架构的基础之上可以实现细粒度的访问控制;如此等等。

5.?统一规则

由于统一的大集群实现了技术路线的统一,这使得我们在后续应用开发的过程中有很多施展拳脚的空间。比如我们可以通过在大数据应用的开发过程中得到的一些经验总结,将这些经验整理为方法论和模型,再基于这些理论和模型实现一套大数据平台开发的SDK。最终通过这套SDK,可以很方便地将这些经验快速复制推广到整个企业内部。

6.?易于使用

在开发一款大数据产品或者业务的时候,我们应当将主要的精力放在业务的梳理和实现之上,而不应该过多地关注平台底层细节,如集群服务的安装、维护和监控等。

比较理想的方式是直接将应用构建在一个大数据平台之上,通过面向平台服务的方式进行应用开发,或是借助平台工具直接以交互的方式进行数据分析。通过平台服务和工具的形式暴露平台能力,屏蔽平台底层细节。应用开发者直接使用平台服务接口进行应用开发,数据科学家、数据分析人员直接使用平台提供的工具进行交互式数据查询与分析。


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。