NVME盘 VS SSD：基于新型存储的HetuEngine性能测试
【摘要】 随着新一代CPU性能日益强劲，磁盘IO逐渐成为瓶颈。对于磁盘IO密集型的大数据引擎，需要更高的磁盘IO读写能力，从而提高整体业务性能和资源利用率。本次测试HetuEngine在NVMe盘上的性能，并与SSD盘性能进行对比。硬件条件计算主机： 3节点网卡： 1*25GE硬盘： NVME盘 or SSD盘测试方案测试基线： TPC-DS标准测试工具数据规模： 1TB or 6TB执行...
随着新一代CPU性能日益强劲，磁盘IO逐渐成为瓶颈。对于磁盘IO密集型的大数据引擎，需要更高的磁盘IO读写能力，从而提高整体业务性能和资源利用率。
本次测试HetuEngine在NVMe盘上的性能，并与SSD盘性能进行对比。
硬件条件
计算主机： 3节点
网卡： 1*25GE
硬盘： NVME盘 or SATA SSD盘
测试方案
测试基线： TPC-DS标准测试工具
数据规模： 1TB or 6TB
执行模式： 内存计算模式 or FTE（shuffle模式）
说明：
Shuffle模式：启用TASK容错模式后，会产生中间数据并缓存到文件系统中，用于重试失败的task。在执行大批量查询时可更好应对查询中的小颗粒局部任务失败情况 。
测试结论
Shuffle模式：NVMe盘性能明显优于SATA盘（ 43.47% ）
内存模式：NVMe盘相比SATA盘仅在大数据量（6T）时有少量优势（5.04%）
详细测试数据
lShuffle模式：优势明显
|
测试项 |
数据量 |
SATA SSD盘总耗时（秒） |
NVMe盘总耗时（秒） |
NVMe相比SATA提升 |
|
TPC-DS |
1T |
2507 |
1812 |
27.72% |
|
6T |
11529 |
6517 |
43.47% |
l内存计算模式：
|
测试项 |
数据量 |
SATA SSD盘总耗时（秒） |
NVMe盘总耗时（秒） |
NVMe相比SATA提升 |
|
TPC-DS |
1T |
1481 |
1521 |
-2.68% |
|
6T |
5985 |
5684 |
5.04% |
CPU及IO使用情况：
|
数据量 |
硬盘类型 |
单硬盘读IO峰值 |
单硬盘写IO峰值 |
|
1T |
SATA SSD |
~480MB/s |
~460MB/s |
|
6T |
NVMe |
~2500MB/s |
~4400MB/s |
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）