VLDB录用!张量驱动的图查询TenGraph,释放大数据潜能
VLDB(Very Large Data Bases)会议是全球数据库领域的顶级学术盛会,自1975年起每年举办一次,由VLDB Endowment组织。作为数据库研究和实践的风向标,VLDB会议汇集了世界各地的顶尖学者、工程师和行业领袖,共同探讨大数据技术的最新进展和未来趋势。VLDB会议不仅是数据库领域的学术殿堂,更是技术创新和行业发展的重要推动力。
TenGraph是华为云和香港科技大学(广州)联合研发的下一代图数据库处理引擎,主要应用于华为云Graph Engine Service,助力社交网络分析、推荐系统、金融风控、知识图谱等场景。华为云技术创新部-云数据库创新Lab的论文《TenGraph: A Tensor-based Graph Query Engine》被VLDB收录。
▶探索图查询处理的新纪元:TenGraph——基于张量的革命性图数据库引擎
在大数据时代,图数据库凭借其卓越的关系处理能力,已成为应对复杂数据挑战的关键工具。然而,传统方法在处理大规模数据集时常遭遇性能瓶颈。随着大型语言模型(LLM)和人工智能生成内容(AIGC)的兴起,基于张量的计算将在硬件与软件领域迎来更多机遇。
TenGraph的诞生,开启了图查询处理的新纪元。TenGraph首次将张量计算应用于图查询领域,为图数据库领域带来空前的性能突破与创新潜力。这一突破性的成果是由华为云数据库创新Lab与香港科技大学(广州)的紧密合作所孕育,并将被集成应用于华为云的图引擎服务——GES中。
▶TenGraph:基于张量的创新图查询引擎
TenGraph创新地基于张量技术,提出了一种高效的内存图查询处理方法。通过设计简洁的张量存储格式,TenGraph能够精准表达图拓扑结构,并通过批量顶点的张量计算,自动实现跨平台,同时支持CPU或GPU处理,并大幅提升查询效率。相比传统的基于CPU的图数据库系统,TenGraph-GPU的处理速度提升了50至100倍,且显著超越了其他基于CPU和GPU的系统。
▶面向未来的设计:张量计算运行时(TCR)
TenGraph构建在张量计算运行时(TCR)之上,该框架将张量操作映射到硬件平台,充分利用现代硬件加速器的性能,包括SIMD CPU指令、GPU核心,以及ASICs如TPU和NPU的核心功能。
▶突破性存储格式:CUS
TenGraph采用压缩唯一源(CUS)格式,高效地表示图结构,并支持快速的图访问操作,如邻居检索和边的存在性检查,解决了传统图数据库的存储瓶颈。
▶全面支持图查询操作
TenGraph支持包括子图匹配、过滤、投影、聚合等在内的多种图查询操作,甚至能处理负边条件(negative edge)和可选边(optional edge),这些通常是现有的子图匹配算法没有考虑的。
▶实验验证:卓越的性能表现
TenGraph通过宏观与微观基准测试,展示了其强劲的性能优势。在GPU平台上,其处理速度比CPU快两个数量级,且超越了基于CPU的Neo4j、TigerGraph及基于GPU的EGSM等系统和算法。
- 点赞
- 收藏
- 关注作者
评论(0)