DAOS 分布式异步对象存储|分层和服务

举报
debugzhang 发表于 2021/04/07 10:21:01 2021/04/07
【摘要】 基于服务的架构提供了灵活性和可扩展性,它与一组基础架构库相结合,这些库提供了可供所有 DAOS 服务访问的丰富软件生态系统。

架构

如下图所示,DAOS 堆栈被构造为客户端/服务器架构上的存储服务集合。

DAOS 服务的例子有 Pool、Container、Object 和 Rebuild。

DAOS Internal Services & Libraries

DAOS 服务分布在控制和数据平面上,并通过 dRPC 进行内部通信。大多数服务都有客户端和服务器组件,可以通过 gRPC 或 CART 进行同步。跨服务通信是直接通过 API 调用来完成的,这些函数可以被跨服务的客户端或服务器组件调用。

虽然每个 DAOS 服务都被设计成自治和隔离的,但有些服务的耦合比其他服务更紧密。这通常是 Rebuild 服务的情况,它需要与 Pool、Container 和 Object 服务密切交互,以便在 DAOS 服务器发生故障后恢复数据冗余。

基于服务的架构提供了灵活性和可扩展性,它与一组基础架构库相结合,这些库提供了可供所有 DAOS 服务访问的丰富软件生态系统(例如,通信、持久存储访问、具有依赖关系图的异步任务执行、加速器支持等)。

源代码结构

每个基础架构库和服务都在 src/ 下被分配一个专用目录。

服务的客户端和服务器组件存储在不同的文件中。作为客户端组件的函数的前缀是 dc_(代表 DAOS Client),而服务器端函数的前缀是 ds_(代表 DAOS Server)。客户端和服务器组件之间使用的协议和 RPC 格式通常在名为 rpc.h 的头文件中定义。

在控制平面上下文中执行的所有 Go 代码都位于 src/control 目录下。管理和安全服务分布在控制平台 (Go) 和数据平台 © 上,通过 dRPC 进行内部通信。

向最终用户(即 I/O 中间件或应用程序开发人员)公开的官方 DAOS API 的头文件位于 src/include 目录下,并使用 daos_ 前缀。

每个基础架构库导出一个 API,该 API 头文件位于 src/include/daos 目录下,可以由任何服务使用。给定服务导出的客户端 API(带有 dc_ 前缀)也存储在 src/include/daos 目录下,而服务器端接口(带有 ds_ 前缀)则存储在 src/include/daos_srv 目录下。

基础架构库

GURT (A common library of Gurt Useful Routines and Types) 和 Common (libdaos_common) 库为 DAOS 服务提供日志记录、调试和公共数据结构(如 hash table、btree 等)。

本地 NVM 存储由 Versioning Object Store (VOS) 和 Blob I/O (BIO) 库管理。VOS 在 SCM 中实现持久索引,而 BIO 负责根据分配策略将应用程序的数据存储在 NVMe SSD 或 SCM 中。Versioned Block Allocator (VEA) 层集成到 VOS 中,负责管理 NVMe SSD 上的块分配。

DAOS 对象分布在多个 Target 上,以实现性能(分片)和恢复能力(复制或纠删码)。Placement 库实现不同的算法(例如,基于环的放置、跳转一致性散列…),从 Target 列表和对象标识符生成对象的布局。

复制服务 (Replicated service framework, RSVC) 库提供了一些支持容错的公共代码。

Pool、Container 和 Management 服务与 Replicated database (RDB) 库结合使用,RDB 库在 Raft 上实现复制的键值存储。

有关这些基础架构库的更多信息,请参阅:

DAOS 服务

下图显示了 DAOS 服务的内部分层以及与上面提到的不同库的交互:

DAOS Internal Layering

垂直框表示 DAOS 服务,而水平框表示基础架构库。

对于每个服务的内部结构的进一步阅读:

相关信息

GitHub: https://github.com/storagezhang

Emai: debugzhang@163.com

DAOS: https://github.com/daos-stack/daos

本文翻译自 https://github.com/daos-stack/daos/blob/master/src/README.md

【版权声明】本文为华为云社区用户翻译文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容, 举报邮箱:cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。