使用prometheus监控hudi相关指标

举报
从大数据到人工智能 发表于 2022/01/23 13:12:49 2022/01/23
【摘要】 前提首先请安装好prometheus、pushgateway以及grafana,如果还没安装请参考:Prometheus与pushGateway安装与使用Grafana安装指南对hudi相关指标进行监控,只需要在将数据写入hudi的时候进行监控配置即可,本文以Flink SQL Client实战CDC数据入湖为例,对其指标进行监控。 基本环境介绍本文使用的prometheus、pushga...

前提

首先请安装好prometheus、pushgateway以及grafana,如果还没安装请参考:

对hudi相关指标进行监控,只需要在将数据写入hudi的时候进行监控配置即可,本文以Flink SQL Client实战CDC数据入湖为例,对其指标进行监控。

基本环境介绍

本文使用的prometheus、pushgateway以及grafana的地址和端口分别为:

  • promotheus:hadoop1:9090

  • pushgateway:hadoop1:9091

  • grafana:windows安装的程序,直接接入prometheus数据

本文使用的示例与Flink SQL Client实战CDC数据入湖文章所述基本一致,只是在创建hudi目标表有所不同,并且原来的表名为stu3全部换成stu6。下文直接描述如何创建带有监控参数的hudi目标表。

创建带有监控参数的hudi目标表

 create table stu6_binlog_sink_hudi(
  id bigint not null,
  name string,
  `school` string,
  nickname string,
  age int not null,
  class_num int not null,
  phone bigint not null,
  email string,
  ip string,
  primary key (id) not enforced
)
 partitioned by (`school`)
 with (
  'connector' = 'hudi',
  'path' = 'hdfs://hadoop:9000/tmp/stu6_binlog_sink_hudi',
  'table.type' = 'MERGE_ON_READ',
  'write.option' = 'insert',
  'write.precombine.field' = 'school',
  'hoodie.metrics.on' = 'true',
  'hoodie.metrics.executor.enable' = 'true',
  'hoodie.metrics.reporter.type' = 'PROMETHEUS_PUSHGATEWAY',
  'hoodie.metrics.pushgateway.job.name' = 'hudi-metrics',
  'hoodie.metrics.pushgateway.host' = 'hadoop1',
  'hoodie.metrics.pushgateway.report.period.seconds' = '10',
  'hoodie.metrics.pushgateway.delete.on.shutdown' = 'false',
  'hoodie.metrics.pushgateway.random.job.name.suffix' = 'false'
  );

相比原文,本问在创建hudi目标表时候新增了hoodie.metrics._相关指标,具体指标含义可参考:hudi监控指标介绍

相关指标查看

从上述步骤中,我们可以看到其数据写入模式为insert,那么我们打开pushgateway,可以看到如下指标:

prometheus中可以看到:

而grafana通过接入prometheus中的数据,可进行展示:

而当数据停止写入到hudi中时,下述指标中的红线后部分,我们可以发现其趋于稳定:

注意事项

某些指标在刚开始数据写入的时候并没有上报,需要等待一段时间。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。