VLDB录用!张量驱动的图查询TenGraph,释放大数据潜能

举报
华为云头条 发表于 2024/08/30 18:16:40 2024/08/30
【摘要】 探索图查询处理的新纪元
VLDB(Very Large Data Bases)会议是全球数据库领域的顶级学术盛会,自1975年起每年举办一次,由VLDB Endowment组织。作为数据库研究和实践的风向标,VLDB会议汇集了世界各地的顶尖学者、工程师和行业领袖,共同探讨大数据技术的最新进展和未来趋势。VLDB会议不仅是数据库领域的学术殿堂,更是技术创新和行业发展的重要推动力。

1.jpg


TenGraph是华为云和香港科技大学(广州)联合研发的下一代图数据库处理引擎,主要应用于华为云Graph Engine Service,助力社交网络分析、推荐系统、金融风控、知识图谱等场景。华为云技术创新部-云数据库创新Lab的论文《TenGraph: A Tensor-based Graph Query Engine》被VLDB收录。

▶探索图查询处理的新纪元:TenGraph——基于张量的革命性图数据库引擎

在大数据时代,图数据库凭借其卓越的关系处理能力,已成为应对复杂数据挑战的关键工具。然而,传统方法在处理大规模数据集时常遭遇性能瓶颈。随着大型语言模型(LLM)和人工智能生成内容(AIGC)的兴起,基于张量的计算将在硬件与软件领域迎来更多机遇。

TenGraph的诞生,开启了图查询处理的新纪元。TenGraph首次将张量计算应用于图查询领域,为图数据库领域带来空前的性能突破与创新潜力。这一突破性的成果是由华为云数据库创新Lab与香港科技大学(广州)的紧密合作所孕育,并将被集成应用于华为云的图引擎服务——GES中。

▶TenGraph:基于张量的创新图查询引擎

TenGraph创新地基于张量技术,提出了一种高效的内存图查询处理方法。通过设计简洁的张量存储格式,TenGraph能够精准表达图拓扑结构,并通过批量顶点的张量计算,自动实现跨平台,同时支持CPU或GPU处理,并大幅提升查询效率。相比传统的基于CPU的图数据库系统,TenGraph-GPU的处理速度提升了50至100倍,且显著超越了其他基于CPU和GPU的系统。

2.png


▶面向未来的设计:张量计算运行时(TCR)

TenGraph构建在张量计算运行时(TCR)之上,该框架将张量操作映射到硬件平台,充分利用现代硬件加速器的性能,包括SIMD CPU指令、GPU核心,以及ASICs如TPU和NPU的核心功能。

3.png


▶突破性存储格式:CUS

TenGraph采用压缩唯一源(CUS)格式,高效地表示图结构,并支持快速的图访问操作,如邻居检索和边的存在性检查,解决了传统图数据库的存储瓶颈。

4.png


▶全面支持图查询操作

TenGraph支持包括子图匹配、过滤、投影、聚合等在内的多种图查询操作,甚至能处理负边条件(negative edge)和可选边(optional edge),这些通常是现有的子图匹配算法没有考虑的。

5.png

6.png


▶实验验证:卓越的性能表现

TenGraph通过宏观与微观基准测试,展示了其强劲的性能优势。在GPU平台上,其处理速度比CPU快两个数量级,且超越了基于CPU的Neo4j、TigerGraph及基于GPU的EGSM等系统和算法。

7.png



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。