[博文鉴赏] 大数据测评(含数仓GaussDB for DWS)一纸阐

一、    目的

目前,国内的大数据测评多由客户自己进行PoC,测试用例差异性虽有一定差异,但主要的测试方法和用例相对集中,包含大数据产品的基准性能、产品的可靠性、安全性、兼容性、易用性等方面。而大量重复性的PoC测试,对厂商来说,耗费了极大的成本;而对于客户来说,自己组织PoC除成本较高以外,还对技术人员提出了的要求较高。

为了解决上述问题,我们推动和参加了一些第三方组织的大数据测评工作,以期能够:

1.       设计和推动业界认可的第三方组织的大数据测评标准和认证,大大降低客户重复测评的成本

2. 能够在业界逐步形成一些统一、通用的测试用例供更多客户使用,降低我司后续PoC的难度

本文将目前我司参与的第三方的大数据测评现状进行一个尽量全面的梳理。由于我们了解的信息有限,如有疏漏或者对文中提到的测评有疑问,可以联系IT 标准部 高巍00402971

 

二、   中国信息通信研究院/数据中心联盟

数据中心联盟下成立的大数据工作组,是中国信息通信研究院发起的大数据联盟组织,在2015年启动制定了大数据基准测试标准,并启动了相关的测试,是国内业界第一个成熟的和具备较大影响力的大数据基准测试标准。

目前信通院的大数据测评包括三大类,14小类的数据相关产品,共有17个测评项目(包括三个性能测评),截止201912月共有76个厂商的236款产品通过了测评。

大数据测评图1.png

大数据测评图2.png

2015年,华为参加了第一批分布式批处理平台基准测试。

2017-2018年,华为通过了5001节点的基础能力测试,我们在TPC-DS的基础上还新增了TPC-H4个新增的测试用例,所有用例全部通过。

2019年6月,华为GaussDB 200(现命名为GaussDB for DWS在业界第一个通过了MPP产品基础能力的大规模认证(512节点)。华为云表格存储服务CloudTable通过时序数据库基础能力测评认证。

201912月,华为GaussDB 100100%通过率通过了分布式事务数据库认证。

厂商测试结果(2019.12更新)

1.         分布式批处理平台基础能力

序号

厂商

产品

节点数

首次通过时间

1

北京东方金信科技有限公司

Seabox Bigdata海盒大数据平台

<100

2016.4.30

2

北京明略软件系统有限公司

BigDataPlatform大数据管理平台

<100

2016.4.30

3

博易智软(北京)技术股份有限公司

SuperCenter大数据平台

<100

2016.4.30

4

新华三技术有限公司

H3C DataEngine 大数据软件(E0103P01

<100

2016.4.30

5

星环信息科技(上海)有限公司

Transwarp Data Hub产品

<100

2016.4.30

6

腾讯云计算(北京)有限责任公司

腾讯云数智方略大数据系统软件

<100

2016.4.30

7

北京百分点信息科技有限公司

百分点大数据操作系统(BD-OS

<100

2016.9.1

8

北京国双科技有限公司

国双大数据平台

<100

2016.9.1

9

中国电子科技集团公司第二十八研究所

28th鲸云大数据存储分析平台

<100

2017.3.28

10

中兴通讯股份有限公司

大数据平台DAP

<100

2017.3.28

12

成都四方伟业软件股份有限公司

SDC大数据基础平台

<100

2017.3.28

13

杭州泰一指尚科技有限公司

DMP数据聚合与管理服务平台

<100

2017.3.28

14

北京中联润通信息技术有限公司

易云汇智大数据平台

<100

2017.3.28

15

航天信息股份有限公司

航天信息大数据分析平台

<100

2017.3.28

16

联想(北京)有限公司

LEAP系统

<100

2017.3.28

17

深圳前海信息技术有限公司

前信闪电大数据系统

<100

2017.3.28

18

中国华戎控股有限公司

华擎大数据平台

<100

2017.3.28

19

济南浪潮数据技术有限公司

浪潮云海Insight HD软件

<100

2017.10.30

20

航天恒星科技有限公司(503)

星磐数据

<100

2017.10.30

21

杭州数梦工场科技有限公司

数梦工场大数据计算平台[DThink EMR]

<100

2017.10.30

22

中国电信股份有限公司云计算分公司

中国电信天翼大数据飞龙平台

<100

2017.10.30

23

北京华宇信息技术有限公司

大数据管理平台

<100

2017.10.30

24

北京经纬信息技术公司

铁路数据服务平台

<100

2017.10.30

25

博宇通达


<100

2018.3

26

国网亿利


<100

2018.3

27

石化盈科


未做全部测试

2018.3

28

华为

FusionInsight

5001

2018.3

29

联通大数据


<100

2018.3

30

烽火科技

烽火FitData大数据服务平台

<100

2018.3

31

阿里云

MaxCompute

10000

2018.11

32

南威软件股份有限公司

天河大数据基础平台

<100

2018.11

33

广州汇智通信技术有限公司

TeligenInsight 1.0

<100

2018.11

34

上海宝信软件股份有限公司

宝信大数据平台产品套件xInsight

<100

2018.11

35

中国船舶重工集团公司第七一六研究所

杰瑞捷云大数据平台

<100

2019.6

36

滴滴云计算有限公司

滴滴大数据平台系统

<100

2019.6

37

北京飞利信电子技术有限公司

诺玛分布式批处理平台

<100

2019.6

38

浪潮软件集团有限公司

浪潮数据湖平台(iDataLake

<100

2019.6

40

浩鲸云计算科技股份有限公司

鲸灵大数据平台

200节点

2019.6

41

百度

百度数据工厂Pingo

<100

2019.12

42

南方电网数字电网研究院

大数据分析平台

<100

2019.12

 

2.         分布式批处理平台性能评测

序号

厂商

产品

节点数

首次通过时间

1

中移(苏州)软件技术有限公司

BC-Hadoop

32

2015.12.1

2

华为技术有限公司

FusionInsight

300

2015.12.1

3

星环信息科技(上海)有限公司

Transwarp Hadoop

TPC-DS100;性能:200

2015.12.1

4

中兴通讯股份有限公司

GoldenData产品DAP

32

2015.12.1

5

上海优刻得信息科技有限公司

大数据云服务UHadoop云产品

32

2015.12.1

6

新华三技术有限公司

H3C DataEngine 大数据软件(E0103P01

200

2016.9.1

7

腾讯云计算(北京)有限责任公司

腾讯云数智方略大数据系统软件

32

2016.9.1

8

北京东方金信科技有限公司

Seabox Bigdata海盒大数据平台

32

2016.9.1

9

北京百分点信息科技有限公司

百分点大数据操作系统(BD-OS

32

2016.9.1

10

成都四方伟业软件股份有限公司

SDC大数据基础平台

32

2017.10.30

11

北京中联润通信息技术有限公司

易云汇智大数据平台

32

2017.10.30

12

联想(北京)有限公司

联想企业级数据分析平台[LEAP系统]

32

2017.10.30

13

杭州泰一指尚科技有限公司

泰一指尚DMP数据聚合与管理服务平台

32

2017.10.30

14

中国电子科技集团公司第二十八研究所

28th鲸云大数据存储分析平台

32

2017.10.30

15

济南浪潮数据技术有限公司

浪潮云海Insight HD软件

32

2017.10.30

16

博宇通达


32

2018.3

17

国网亿利


32

2018.3

18

石化盈科


32

2018.3

19

联通大数据


32

2018.3

20

电信云公司


32

2018.3

21

铁科院


32

2018.3

22

阿里云

MaxCompute

300

2018.11

23

北京国双科技有限公司

Gridsum ZETA

32

2018.11

24

航天恒星科技有限公司

星磐数据ACloudAge

32

2018.11

25

航天信息股份有限公司

航天信息大数据分析产品

32

2018.11

26

合肥达博科技有限公司

Florida HDP 3000

32

2018.11

27

滴滴云计算有限公司

滴滴大数据平台系统

32

2019.6

28

浪潮软件集团有限公司

浪潮数据湖平台(iDataLake

32

2019.6

 

3.         分布式分析型数据库基础能力评测

序号

厂商

产品

节点数

首次通过时间

1.    

天津神舟通用数据技术有限公司

神通数据库管理系统

<100

2017.3

2.    

天津南大通用数据技术股份有限公司

GBase 8a MPP Cluster

<100

2017.3

3.    

中移(苏州)软件技术有限公司

中移软件分布式混合型并行关系型数据库系统软件

<100

2017.3

4.    

贵州易鲸捷信息技术有限公司

易鲸捷数据库管理系统[简称:EsgynDB]

<100

2017.3

5.    

北京酷克数据科技有限公司

HashData数据仓库

<100

2017.3

6.    

百度网讯科技有限公司

百度数据仓库Palo

<100

2017.1

7.    

杭州数梦工场科技有限公司

数梦工场大规模分析型数据库[DThink ADB]

<100

2017.1

8.    

星环信息科技(上海)有限公司


<100

2018.3

9.    

巨杉数据库


<100

2018.3

10.   

北京国双科技有限公司

Gridsum ZETA

<100

2018.11

11.   

南威软件股份有限公司

天河大数据基础平台

<100

2018.11

12.   

腾讯云计算(北京)有限责任公司

TBase

<100

2019.6

13.   

新华三技术有限公司

H3C DataEngine MPP

<100

2019.6

14.   

华为技术有限公司

GaussDB 200

512

2019.6

15.   

阿里云

阿里云分析型数据库

<100

2019.12

 

4.         分布式分析型数据库性能评测

序号

厂商

产品

节点数

首次通过时间

1.    

中移(苏州)软件技术有限公司

BC-RDB Hybrid

32

2017.10

2.    

天津南大通用数据技术股份有效公司

GBase 8a MPP Cluster