调用CES API查看数据仓库服务（DWS）监控指导

举报
可乐鸡翅 发表于 2021/04/12 16:10:08 2021/04/12
【摘要】 调用CES API查看dws监控指导首先要获取用户的token，详细创建步骤如下：1 获取IAM用户Token（使用密码）1.1功能介绍该接口可以用于通过用户名/密码的方式进行认证来获取IAM用户Token。Token是系统颁发给IAM用户的访问令牌，承载用户的身份、权限等信息。调用IAM以及其他云服务的接口时，可以使用本接口获取的IAM用户token进行鉴权。1.2URIPOST /v3/...

调用CES API查看dws监控指导

首先要获取用户的token，详细创建步骤如下：

1 获取IAM用户Token（使用密码）

1.1功能介绍

该接口可以用于通过用户名/密码的方式进行认证来获取IAM用户Token。

Token是系统颁发给IAM用户的访问令牌，承载用户的身份、权限等信息。调用IAM以及其他云服务的接口时，可以使用本接口获取的IAM用户token进行鉴权。

1.2URI

POST /v3/auth/tokens

参数

是否必选

参数类型

描述

domain

是

Object

IAM用户所属账号信息。

name

是

String

IAM用户名。

password

是

String

IAM用户的登录密码。

在节点的运维容器中执行。

curl -i -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json'-d '{
    "auth": {
        "identity": {
            "methods": [
                "password"
            ],
            "password": {
                "user": {
                    "domain": {
                        "name": "IAMDomain"
                    },
                    "name": "IAMUser",
                    "password": "IAMPassword"
                }
            }
        },
        "scope": {
            "project": {
                "name": "cn-north-1(regionName)"
            }
        }
    }
}' -k  https://{iam域名}:31943/v3/auth/tokens

2 获取IAM用户Token（使用AK、SK。天翼云目前租户侧不支持通过密码的方式获取token，只能使用这种方式）

2.1功能介绍

该接口可以用于通过用AK SK的方式进行认证来获取IAM用户Token。

Token是系统颁发给IAM用户的访问令牌，承载用户的身份、权限等信息。调用IAM以及其他云服务的接口时，可以使用本接口获取的IAM用户token进行鉴权。

2.2URI

POST /v3/auth/tokens

参数

是否必选

参数类型

描述

access

是

String

IAM用户AK。（console的身份凭证中可以查询到）

secret

是

String

IAM用户SK。（创建ak时会生成对应的sk）

在节点的运维容器中执行。

curl -i -X POST -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json' -d '{
    "auth": {
        "identity": {
            "methods": ["hw_ak_sk"],
            "hw_ak_sk": {
                "access": {
                    "key": ""
                },
                "secret": {
                    "key": ""
                }
            }
        },
        "scope": {
            "project": {
                "name": "cn-north-1(regionName)"
            }
        }
    }
}' -k  https://{iam域名}:31943/v3/auth/tokens

3 查询CES dws的监控数据

3.1功能介绍

查询指定时间范围指定指标的指定粒度的监控数据，可以通过参数指定需要查询的数据维度。

3.2URI

GET /V1.0/{project_id}/metric-data?namespace={namespace}&metric_name={metric_name}&dim.{i}=key,value&from={from}&to={to}&period={period}&filter={filter}

名称

是否必选

参数类型

说明

project_id

是

String

·         项目ID

namespace

是

String

默认：SYS.DWS

metric_name

是

String

指标名称，可通过3.4集群监控指标获取已有的告警规则的指标名。

from

是

String

查询数据起始时间，UNIX时间戳，单位毫秒。建议from的值相对于当前时间向前偏移至少1个周期。由于聚合运算的过程是将一个聚合周期范围内的数据点聚合到周期起始边界上，如果将from和to的范围设置在聚合周期内，会因为聚合未完成而造成查询数据为空，所以建议from参数相对于当前时间向前偏移至少1个周期。以5分钟聚合周期为例：假设当前时间点为10:35，10:30~10:35之间的原始数据会被聚合到10:30这个点上，所以查询5分钟数据点时from参数应为10:30或之前。

说明：

云监控会根据所选择的聚合粒度向前取整from参数。

to

是

String

查询数据截止时间UNIX时间戳，单位毫秒。from必须小于to。

period

是

Integer

监控数据粒度。

取值范围：

·         1，实时数据

·         300，5分钟粒度

·         1200，20分钟粒度

·         3600，1小时粒度

·         14400，4小时粒度

·         86400，1天粒度

filter

是

String

数据聚合方式，支持的聚合方式如下:

·         average：聚合周期内指标数据的平均值。

·         max：聚合周期内指标数据的最大值。

·         min：聚合周期内指标数据的最小值。

·         sum：聚合周期内指标数据的求和值。

·         variance：聚合周期内指标数据的方差。

说明：

聚合运算的过程是将一个聚合周期范围内的数据点根据相应的聚合算法聚合到周期起始边界上，以5分钟聚合周期为例：假设当前时间点为10:35，则10:30~10:35之间的原始数据会被聚合到10:30这个时间点。

dim

是

String

指标的维度，目前最大支持3个维度，维度编号从0开始；维度格式为dim.{i}=key,value，key的最大长度32，value的最大长度为256。

以下维度说明仅为实例。

单维度：dim.0=datastore_id,i-12345

多维度：dim.0=datastore_id,i-12345&dim.1=dws_instance_id,i-1234
样例：
curl -i -X GET -H 'Connection:keep-alive' -H 'Content-Type:application/json;charset=UTF-8' -H 'Accept:application/json' -H "X-Auth-Token:{步骤1或2获取的token}" -k 'https://{CES公网域名}/V1.0/{project_id}/metric-data?namespace=SYS.DWS&metric_name=dws015_disk_usage&dim.0=dws_instance_id,4ee28efd-3923-4965-b3d8-3786999438d6&from=1618192342747&to=1618195942747&period=1&filter=average'

3.3响应消息

  • 响应参数
名称 参数类型 说明
datapoints Array of objects

指标数据列表。详细参数请参见下表。

由于查询数据时，云监控会根据所选择的聚合粒度向前取整from参数，所以datapoints中包含的数据点有可能会多于预期
metric_name String 指标ID，例如弹性云服务器的监控指标CPU使用率，对应的metric_name为dws010_cpu_usage。各服务监控指标请参考3.4集群监控指标

datapoints字段数据结构说明

名称 参数类型 说明
average double 指标值,该字段名称与请求参数中filter使用的查询值相同。字段名称可为：max/min/average/sum/variance
timestamp long 指标采集时间，UNIX时间戳，单位毫秒
unit String 指标单位

响应样例

{
    "datapoints": [
        {
            "average": 0.07, 
            "timestamp": 1442341200000, 
            "unit": "Ratio"
        }
    ], 
    "metric_name": "dws015_disk_usage"
}

3.4集群监控指标

通过云监控提供的数据仓库服务相关监控指标，用户可以获取有关集群运行状况和性能的信息，并深入了解节点级别的对应信息。

数据仓库服务相关监控指标。

指标ID

指标名称

含义

取值范围

测量对象&维度

监控周期（原始指标）

dws001_shared_buffer_hit_ratio

缓存命中率

该指标用于表示需要访问的数据，在内存中可以直接获取的数据量比例，以百分比为单位。

0%～100%

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws002_in_memory_sort_ratio

内存中排序比率

该指标用于表示在数据进行排序时，可以直接在内存中排序的数据量比例，以百分比为单位。

0%～100%

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws003_physical_reads

文件读取次数

该指标用于表示读取数据库文件的累计次数。

> 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws004_physical_writes

文件写入次数

该指标用于表示写入数据库文件的累计次数。

> 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws005_physical_reads_per_second

每秒文件读取次数

该指标用于表示每秒读取数据库文件的次数。

≥ 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws006_physical_writes_per_second

每秒文件写入次数

该指标用于表示每秒写入数据库文件的次数。

≥ 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws007_db_size

数据量大小

该指标用于表示数据库中所有数据总量大小。

单位：兆字节（MB）

0MB～36000MB

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws008_active_sql_count

活跃SQL数

该指标用于表示数据库当前活动的SQL个数。

≥ 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws009_session_count

会话数

该指标用于表示数据库当前访问的连接个数。

≥ 0

测量对象：数据仓库集群

测量维度：datastore_id

4分钟

dws010_cpu_usage

CPU使用率

该指标用于统计每个集群节点的CPU使用率，以百分比为单位。

0%～100%

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws011_mem_usage

内存使用率

该指标用于统计每个集群节点的内存使用率，以百分比为单位。

0%～100%

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws012_iops

IOPS

该指标用于统计每个集群节点每秒处理的I/O请求数量。

≥ 0

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws013_bytes_in

网络输入吞吐量

该指标用于统计每秒从网络输入每个集群节点的数据总量。

单位：字节/秒

≥ 0字节/秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws014_bytes_out

网络输出吞吐量

该指标用于统计从每个节点每秒发送到网络的数据总量。

单位：字节/秒

≥ 0字节/秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws015_disk_usage

磁盘利用率

该指标用于统计每个集群节点的磁盘使用情况，以百分比为单位。

0%～100%

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws016_disk_total_size

磁盘总大小

该指标用于统计每个集群节点的数据磁盘总大小。

单位：吉字节（GB）

100GB～2000GB

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws017_disk_used_size

磁盘使用量

该指标用于统计每个集群节点的数据磁盘已用大小。

单位：吉字节（GB）

0GB～3600GB

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws018_disk_read_throughput

磁盘读吞吐量

该指标用于统计集群节点数据磁盘每秒读取的数据量。

单位：字节/秒

≥ 0字节/秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws019_disk_write_throughput

磁盘写吞吐量

该指标用于统计集群节点数据磁盘每秒写入的数据量。

单位：字节/秒

≥ 0字节/秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws020_avg_disk_sec_per_read

磁盘读耗时

该指标用于统计集群节点数据磁盘每次读取数据的平均耗时。

单位：秒

> 0秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws021_avg_disk_sec_per_write

磁盘写耗时

该指标用于统计集群节点数据磁盘每次写入数据的平均耗时。

单位：秒

> 0秒

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

dws022_avg_disk_queue_length

磁盘平均队列长度

该指标用于统计每个集群节点数据磁盘平均的I/O队列长度。

≥ 0

测量对象：数据仓库节点

测量维度：dws_instance_id

1分钟

 

维度

Key

Value

datastore_id

数据仓库集群ID

dws_instance_id

数据仓库节点ID

 

20210409-152203(WeLinkPC).png

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
EI企业智能 Gauss AP 云数据仓库 GaussDB(DWS)
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入