- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

华为云技术私享会亮相深圳，揭秘 300% 数据库性能提升原理引热议

小路~ 发表于 2018/08/28 16:05:02 2018/08/28

【摘要】科技改变生活，技术改变世界。8月25日，华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开，分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势，并通过现场实战演练和动手体验，为初秋的深圳技术人员带来一抹亮色体验。本次分享会的讨论包括《 MySQL 云数据库的性能优化和发展趋势》、《华为...

科技改变生活，技术改变世界。8月25日，华为云技术私享会深圳站在南山科技园圆满结束。本次活动围绕数据库展开，分享了以 MySQL 为代表的关系型数据库、以及以 MongoDB 为代表的 NoSQL 数据库技术新趋势，并通过现场实战演练和动手体验，为初秋的深圳技术人员带来一抹亮色体验。

本次分享会的讨论包括《 MySQL 云数据库的性能优化和发展趋势》、《华为云原生（Cloud Native）分布式数据库技术》、《MongoDB 在云上的计算与存储分离架构实践》、《华为云数据库体系及优势解读》、《云时代数据库迁移的新挑战与新玩法》等主题，全面介绍了华为云数据库服务及技术全景，并就行业最新动向展开讨论。

在云时代，企业IT业务走向跨地区、全球化部署，IT应用软件逐渐云化、分布式化，要求数据库也要基于云场景架构设计，具备跨地区分布式部署的能力。华为云技术专家总结了传统数据库上云或云服务化遇到的问题，同时深入介绍了华为云原生分布式数据库的技术原理和最佳实践。

在《MongoDB 在云上的计算与存储分离架构实践》主题分享中，针对华为云近期推出的 MongoDB 社区增强版，专家团队就如何将其性能提升到 300% 的技术揭秘引人入胜，引发大家热烈讨论。

开源 MongoDB 的困境

众所周知，MongoDB 作为全球流行度最高的 NoSQL 数据库，强大的扩展性使其在流量具有强爆发性的场景使用中如鱼得水。在现今互联网直播、游戏业务、物联网大数据盛行、业务流量峰值波动大的情况下，MongoDB 尤受企业欢迎。

但是，随着企业发展和数据的不断累积，满足业务性能与数据存储容量的需求也日益增长。在长时间的使用过程中，MongoDB 扩容时性能差、扩容耗时长、扩容成本高、存在资源浪费等缺点也逐渐显现出来。

究其原因，还是在于传统开源 MongoDB 采用的三副本架构本身。

首先，开源 MongoDB 集群扩容以 3 节点为单位，扩容成本高，Secondary 节点平时并不处理业务请求，造成资源浪费。此外，固定的节点复制关系，不能容忍任意 2 节点以上的故障，节点故障数据重同步时间长，长时间处于降级状态，故障重构能力差。

由于存储数据使用本地文件系统，每一个 shard（分片）节点之间数据是相对独立的。当扩容时，需要将已有节点的数据均衡到新节点；因为数据独立存在，所以要对数据进行网络拷贝；也因此，MongoDB 扩容后性能不能立即得到提升。

此外，数据拷贝对节点资源消耗很大，出于对整体性能的考虑，MongoDB 限制了数据迁移的速度，导致集群横向扩展不能及时完成；

以上种种，都在很大程度上限制了 MongoDB 的使用场景范围。

那么，华为云 MongoDB 社区增强版，是如何从技术上解决这些难题的呢？

增强版 MongoDB，从内核开始改造

华为云 MongoDB 社区增强版，完全基于游戏业务、互联网应用、大数据等场景研发，采用计算和存储分离的全新架构，是典型的 Cloud Native （云原生）文档数据库。在技术上，更是通过一系列自研黑科技，将整体性价比提升 3 倍。

将 MongoDB 的多副本复制功能卸载到分布式存储，使得 Secondary 节点也可以为读写服务，相同成本下获得 3 倍的计算能力，进而获得 300% 的读写性能提升。
将 MongoDB 数据库节点无状态化，将数据和计算节点分离，去掉数据强归宿某个计算节点的限制，使得横向弹性伸缩性能提升 100 倍以上。
打破 MongoDB 只在单个 Shard 副本集内节点间复制 3 副本的限制，分布式存储采用分片复制能力，磁盘故障后可以由更多磁盘参与数据重构，10 倍缩短数据重构时间。
使用分布式存储的快照备份技术，替代 MongoDB 的逻辑备份，10 倍提升备份恢复性能。
采用存储计算分离架构，扩容步长仅 1 个节点，提升扩容效率，降低扩容成本。
打破 MongoDB 只在单个 Shard 副本集内支持 HA 高可用的限制，集群内所有 Shard 的所有节点都互为 HA 备份关系，使得可以支持任意 N-1 个节点故障。