磁盘使用率告警

告警汇总

CM告警汇总链接

告警编号

磁盘剩余容量预警

• 十进制编号：1078919264
• 十六进制编号：0x404F0060

磁盘剩余容量不足

• 十进制编号：1078919265
• 十六进制编号：0x404F0061

磁盘剩余容量严重不足

• 十进制编号：1078919266
• 十六进制编号：0x404F0062

告警信息

磁盘剩余容量预警

• 中文名称：磁盘剩余容量预警

• 英文名称：DiskUsageRisk

  代码中告警英文名称为ALM_AI_DiskUsageRisk

• 英文附加信息：Disk usage on the node %u has reached the risky threshold %d%%

• 中文附加信息：节点%u磁盘使用率已达到风险阈值%d%%

磁盘剩余容量不足

• 中文名称：磁盘剩余容量不足

• 英文名称：DiskUsageReadOnly

  代码中告警英文名称为ALM_AI_DiskUsageReadOnly

• 英文附加信息：Disk usage on the node %u has reached the read-only threshold %d%%

• 中文附加信息：节点%u磁盘使用率已达到只读阈值%d%%

磁盘剩余容量严重不足

• 中文名称：磁盘剩余容量严重不足

• 英文名称：DiskUsageDanger

  代码中告警英文名称为ALM_AI_DiskUsageDanger

• 英文附加信息：Disk usage on the node %u has reached the dangerous threshold %d%%

• 中文附加信息：节点%u磁盘使用率已达到危险阈值%d%%

告警类型

• ALM_AT_Fault/ALM_AT_Resume

告警等级

• DWS
  • DiskUsageRisk: IMPORTANT
  • DiskUsageReadOnly: URGENT
  • DiskUsageDanger: URGENT

告警规则

核心规则

• cm_agent分别当前节点上CN、DN、GTM、cm_server等实例（如果存在）的数据目录，以及CM的日志目录，分别获取所在磁盘的空间使用率和inode使用率百分比并计算最大值，然后根据最大值产生阶梯式告警。目前有三个依次递增的阈值点： ${\rm ThresholdRisk}$， ${\rm ThresholdReadOnly}$， ${\rm ThresholdDanger}$。
• 当最大使用率处于如下区间时：
  • $[{\rm ThresholdDanger}, \infin)$: 上报DiskUsageDanger告警（实际上磁盘使用率不可能超过100%）
  • $[{\rm ThresholdReadOnly}, {\rm ThresholdDanger})$: 上报DiskUsageReadOnly告警，并消除DiskUsageDanger告警
  • $[{\rm ThresholdRisk}, {\rm ThresholdReadOnly})$: 上报DiskUsageRisk告警，并消除DiskUsageReadOnly和DiskUsageDanger告警
  • $[0, {\rm ThresholdRisk})$: 消除DiskUsageRisk, DiskUsageReadOnly和DiskUsageDanger告警
• 内核应避免最大使用率达到 ${\rm ThresholdDanger}$

默认情况下，告警类型表格如下：

告警阈值的计算

• ${\rm ThresholdReadOnly}$ 等于CM配置参数datastorage_threshold_value_check的取值，默认值90
• ${\rm ThresholdReadRisk} = {\rm ThresholdReadOnly} \times 2 - 100$, 默认值80
• ${\rm ThresholdReadDanger} = ({\rm ThresholdReadOnly} + 100) / 2$, 默认值95

相关告警

• 当最大使用率达到 ${\rm ThresholdDanger}$ 时，节点内的备DN和从备DN将被停止，此时会伴随产生DN实例状态异常、DN进程异常等告警。
  • 1078919172 AbnormalDatanodeInst
  • 1078919184 AbnormalDatanodeProcess

版本分析

• 内核版本

• FIM支持情况待补充。
• DWS已支持。

测试验证

控制磁盘最大使用率逐渐上升并分别达到三个阈值，然后再控制逐渐下降，cm_agent日志如下：

# 最大使用率 50%
Storage detecting is working.
# 最大使用率 85%
Alarm LOG: Reporting alarm id 1078919264 with type 0 and info "Disk usage on the node 1 has reached the risky threshold 85%".
# 最大使用率 92%
Alarm LOG: Reporting alarm id 1078919264 with type 0 and info "Disk usage on the node 1 has reached the risky threshold 85%".
Alarm LOG: Reporting alarm id 1078919265 with type 0 and info "Disk usage on the node 1 has reached the read-only threshold 92%".
# 最大使用率 96%
Alarm LOG: Reporting alarm id 1078919264 with type 0 and info "Disk usage on the node 1 has reached the risky threshold 85%".
Alarm LOG: Reporting alarm id 1078919265 with type 0 and info "Disk usage on the node 1 has reached the read-only threshold 92%".
Alarm LOG: Reporting alarm id 1078919266 with type 0 and info "Disk usage on the node 1 has reached the dangerous threshold 96%".
# 最大使用率 92%
Alarm LOG: Reporting alarm id 1078919264 with type 0 and info "Disk usage on the node 1 has reached the risky threshold 85%".
Alarm LOG: Reporting alarm id 1078919265 with type 0 and info "Disk usage on the node 1 has reached the read-only threshold 92%".
# 最大使用率 85%
Alarm LOG: Reporting alarm id 1078919264 with type 0 and info "Disk usage on the node 1 has reached the risky threshold 85%".
# 最大使用率 50%
Storage detecting is working.

告警信息如下：

alarm 1078919264 0 0009000000000009001200000094mpp1p1s1d127.0.0.1ecs-env-3108Disk#usage#on#the#node#1#has#reached#the#risky#threshold#85%#节点1磁盘使用率已达到风险阈值85%
alarm 1078919265 0 0009000000000009001200000098mpp1p1s1d127.0.0.1ecs-env-3108Disk#usage#on#the#node#1#has#reached#the#read-only#threshold#92%#节点1磁盘使用率已达到只读阈值92%
alarm 1078919266 0 0009000000000009001200000098mpp1p1s1d127.0.0.1ecs-env-3108Disk#usage#on#the#node#1#has#reached#the#dangerous#threshold#96%#节点1磁盘使用率已达到危险阈值96%