Doris Manager 24.3 版本正式发布,增强集群巡检能力

举报
SelectDB技术团队 发表于 2025/11/18 16:53:25 2025/11/18
【摘要】 作为 Apache Doris 的智能管理工具,Doris Manager 提供一键部署、实时监控、弹性扩缩容、升级重启等核心功能,并支持告警、日志、审计、巡检等高级运维能力。历经千家企业验证,24.3 版本更稳定高效,让集群管理更简单!在新的版本中,Doris Manager 丰富了集群巡检,监控等能力。功能更新在 Doris Manager 24.3 版本中,对以下内容进行了优化改进:智...

作为 Apache Doris 的智能管理工具,Doris Manager 提供一键部署、实时监控、弹性扩缩容、升级重启等核心功能,并支持告警、日志、审计、巡检等高级运维能力。历经千家企业验证,24.3 版本更稳定高效,让集群管理更简单!在新的版本中,Doris Manager 丰富了集群巡检,监控等能力。

功能更新

在 Doris Manager 24.3 版本中,对以下内容进行了优化改进:

智能集群巡检:

  • 全面健康评估:新增多维度巡检项,覆盖集群健康度,数据健康度,Top SQL 分析,自动生成优化建议;
  • 主动风险发现:快速定位性能瓶颈,提供分片调整,参数优化等方案。

稳定部署保障:

  • 智能预检机制:新增重启动置检查(JAVA_HOME、操作系统参数等),规避环境问题导致失败;
  • 任务流程优化:重构部署升级任务,提升成功率,减少人工干预。

高效监控运维:

  • 精细化磁盘监控:按磁盘维度展示 IO 使用效率及吞吐量,精准定位 IO 问题;
  • 日志精简优化:移除冗余 manager.out 日志,提升日志检索效率。

流畅操作体验:

  • 透明化操作提示:优化升级备份流程,明确展示进度与风险提示;
  • 自动跳转优化:Studio 页面跳转自动携带上下文,减少登录操作。

集群巡检功能 

本次版本更新一共新增了五类巡检项功能:

  • 集群概览:展示集群拓扑与 SQL 延时监控,QPS 监控,导入速率等主要集群监控项;
  • 数据概览:展示数据库数量、表数量、分片数量、总数据量及 Top10 数据量的表,对 Tablet 健康度进行检查,筛选出 tablet 过大或者过小的表并给出提示;
  • 查询分析:按照查询耗时、CPU 消耗、内存消耗、扫描数据行、扫描数据量等不同维度展示 Top10 的 SQL;
  • 参数规范:展示 FE 与 BE 配置文件中非默认的配置参数,对集群主要的参数进行检测并给出修改意见;
  • 机器信息:展示操作系统、CPU、内存、磁盘、网络等机器信息。

集群巡检功能.png


启用定期巡检

在设置集群巡检时,可以开启定期巡检,在特定时间周期性的对集群进行检查,并保存巡检报告。如在本例中指定每天两点进行巡检,巡检后通过邮箱与企业微信进行巡检信息推送。巡检会对集群数据进行扫描,占用集群 IO 资源,建议避开集群资源高峰时进行巡检。

启用定期巡检.png


查看巡检建议

在巡检后,可以从巡检报告中查看巡检结果与建议。Doris Manager 针对以下内容给出巡检建议:

  • 数据健康:针对 tablet 大小、副本数量、数据倾斜程度、tablet 数量等信息给出优化建议;
  • 参数配置:针对 Doris 系统参数与变量进行检查并给出优化建议;
  • 机器配置:针对 CPU、操作系统参数等进行检查并给出调整建议。

如下例中,对集群参数进行了检查,列出了非默认参数,并针对参数 enable_profile 给出了修改意见。

查看巡检建议.png


添加自定义巡检项

用户可以根据业务自定义巡检项,通过脚本添加巡检项。如在下例中,添加了 CheckBadTablet 与 CheckSwapOff 两个用户自定义巡检项,关闭 CheckBadTablet 巡检项,打开 CheckSwapOff 巡检项。

$ cat webserver/inspection/script/user-defined-tasks.json
{
  "tasks": [
    {
      "name": "CheckBadTablet",
      "source": "DORIS",
      "reason": "ensure tablets are all healthy.",
      "script": "check-bad-tablet.sh",
      "timeout": 600,
      "enabled": false
    },
    {
      "name": "CheckSwapOff",
      "source": "AGENT",
      "reason": "doris be requires swap off.",
      "script": "check-swap-off.sh",
      "timeout": 600,
      "enabled": true
    }
  ]
}

自定义巡检支持两种脚本定义类型:

  • DORIS:在脚本中执行 SQL 逻辑,发送到 Doris 集群中,返回结果
  • AGENT:在脚本中执行 Shell 命令,发送到每一个 Agent 的宿主机执行,并返回结果

通过 user-defined-tasks.json 可以关联用户自定义脚本,在巡检时会对自定义项进行巡检操作。

添加自定义巡检项.png


【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。