CCE 容器可观测参考架构（VictoriaMetrics 开源栈）

1. 用途和受众

1.1 预期用途

• 指导企业在华为云 CCE 上基于 VictoriaMetrics 开源栈（vmagent / vmstorage / vmalert）与 Grafana 构建容器可观测平台，覆盖指标、日志、告警三大支柱。
• 为大规模、高基数容器指标采集与长期存储提供可替代/增强自建 Prometheus 的架构模式。
• 与华为云托管服务（LTS、CES、AOM、SMN、OBS、IAM）集成，缩小自建范围、降低运维负担。
• 作为售前方案、交付实施与可观测性容量评估的架构基础。

1.2 目标受众

• 可观测性工程师：负责 VictoriaMetrics 监控栈选型、指标采集与存储策略设计
• SRE：负责容器可观测体系部署、告警规则配置与故障定位
• 容器平台工程师：负责 CCE 集群监控接入、Prometheus 采集配置与性能调优
• 交付架构师：负责可观测方案落地交付与集成实施
• 企业客户（容器规模较大的互联网/金融/制造）：评估开源可观测栈，建设容器监控与告警体系
• ISV 与 MSP：参与可观测平台实施、运维托管与调优服务

2. 参考架构概述

2.1 架构描述

基于华为云 CCE 构建的容器可观测架构，按"工作负载 → 采集 → 存储 → 展示与告警"四层落地，并以 IAM/CES/AOM 作为公共服务：CCE 集群中应用 Pod 暴露 Prometheus 指标，vmagent 定时抓取并完成 relabel 治理后远程写入分片多副本的 vmstorage 集群；容器日志由 LTS 采集存储；Grafana 以 PromQL 查询展示大盘，vmalert 周期评估告警规则并经 SMN 通知值班；冷数据降采样归档至 OBS，CES 云资源指标作为补充，AOM 可选 remote write 对接。

2.2 业务背景

2.3 架构优点

• 水平扩展：vmstorage 分片 + 多副本部署，指标容量与查询性能随节点线性扩展，摆脱单机 Prometheus 瓶颈。
• 高效采集治理：vmagent 支持高频率抓取、本地缓冲与断点续传，配合 relabel 过滤、去重与标签规范化，从源头控制基数与成本。
• 低成本长期存储：VictoriaMetrics 高压缩比 + OBS 冷数据归档与生命周期策略，热数据快查、冷数据低成本留存。
• 统一展示：Grafana 兼容 PromQL 与 Prometheus 生态，容器指标与 CES 云资源指标同屏呈现。
• 告警闭环：vmalert 基于规则周期评估，告警事件经 SMN 以邮件/短信/HTTP 多通道触达值班团队。
• 托管互补：LTS 承担日志采集存储，CES 补充云资源监控，AOM 可选对接，缩小开源自建范围。
• 开源开放：VictoriaMetrics 与 Grafana 均为开源组件，生态兼容、无锁定，支持平滑迁移与混合部署。

2.4 设计关注点

2.5 典型架构

架构图

2.6 流程描述

1. ① 应用暴露 Prometheus 指标：输入为应用运行于 CCE 集群的 Pod；应用以 /metrics 端点暴露 Prometheus 格式指标，ECS 节点侧可经 node exporter 类采集器暴露节点指标；输出为可被抓取的标准指标端点。
2. ② vmagent 抓取与 relabel：输入为全集群指标端点发现信息（含 CCE 服务发现）；vmagent 定时抓取指标并执行 relabel（过滤、去重、标签规范化），本地缓冲后转发；输出为治理后的指标流。
3. ③ 指标写入 vmstorage：输入为治理后的指标流；经 remote write 写入分片多副本的 vmstorage 集群，按保留周期存储；输出为可查询的时序数据。
4. ④ LTS 采集容器日志：输入为容器 stdout 与应用日志；LTS 采集器接入 CCE 集群完成日志采集、结构化与索引，按保留期存储；输出为可检索的集中日志。
5. ⑤ Grafana 大盘查询展示：输入为开发/运维团队的观测需求；Grafana 以 vmstorage 为 Prometheus 数据源，经 PromQL 查询并以大盘展示（可叠加 CES 云资源指标）；输出为统一可视化视图。
6. ⑥ vmalert 规则告警 → SMN 通知：输入为告警规则与实时指标；vmalert 周期评估规则，触发告警事件后推送 SMN 主题，经邮件/短信/HTTP 通知告警值班团队；输出为闭环的告警响应。
7. ⑦ OBS 冷数据归档 + CES 指标补充：输入为过期热数据与云资源指标；vmstorage 冷数据降采样/备份归档至 OBS（生命周期策略控制成本），CES 采集 ECS 等云资源指标作为监控补充，AOM 可选经 remote write 对接；输出为低成本长期留存与云资源统一观测。

2.7 云服务产品清单

3. 参考链接

• 产品文档：
• 实施指南：
• 源代码或 IaC：
• 操作手册：
• 安全性和合规性映射：

4. 使用限制

• VictoriaMetrics / Grafana 为开源自建组件，版本升级、容量规划与高可用运维由客户负责，须具备相应运维能力或购买技术支持。
• vmstorage 分片数变更涉及数据再均衡，须在容量评估阶段预留扩展余量，避免频繁调整。
• 高基数标签（如将请求 ID 写入标签）会显著放大存储成本，必须在 ② 的 relabel 阶段强制治理。
• LTS 日志保留期与 OBS 归档策略直接决定成本，投产前须完成保留策略评审。
• 告警规则数量与评估频率影响 vmalert 资源占用，规则变更须灰度验证，避免告警风暴。
• 本架构聚焦容器可观测，业务级 APM/链路追踪需求须另行设计。

附录 A. 术语和缩略语