OpenEverest 数据库集群 ELB 自动管理控制器架构

1. 用途和受众

1.1 预期用途

为运行在华为云 CCE 上的 OpenEverest 数据库集群（PostgreSQL、MySQL/PXC、MongoDB/PSMDB）自动创建和管理华为云 ELB 实例，替代 CCE CCM 的 ELB 管理功能。控制器直接调用华为云 ELB v3 API 创建完整的 ELB 资源栈（ELB + Listener + Pool + Members + HealthCheck + ACL），不依赖 CCM autocreate，通过 ELBBinding CRD 状态隔离、Mutating Webhook 源头阻断 CCM 和 Finalizer 隔离三大机制，彻底消除控制器与 CCM 的 Service status 竞争。支持自动模式（零配置全自动创建 ELB）和手动模式（通过 LoadBalancerConfig 参数模板自定义 ELB 带宽、EIP 类型等参数）。

适用行业：需要在华为云上运行 OpenEverest 数据库集群（PostgreSQL、MySQL/PXC、MongoDB/PSMDB）并对外提供访问的各类企业。

业务场景：数据库集群公网访问、跨 VPC 数据库连接、多可用区高可用数据库部署、需要自定义 ELB 带宽和 EIP 类型的数据库场景。

合规要求：需使用永久 AK/SK（不支持临时 STS Token），IAM 权限需满足 ELB/EIP/VPC/ECS 的最小权限集。

部署规模：单 CCE 集群可运行多个 OpenEverest 数据库集群，每个 LoadBalancer Service 对应一个独立 ELB 实例；建议根据 EIP 配额规划数据库集群数量。

1.2 目标受众

• 华为云 CCE 用户和 Kubernetes 集群管理员
• OpenEverest 数据库集群运维人员
• 需要在华为云上运行 OpenEverest 数据库并对外暴露访问的企业技术团队
• 希望对齐 EKS/GKE 负载均衡体验的华为云用户

2. 参考架构概述

2.1 架构描述

huawei-elb-controller 是面向华为云 CCE 上 OpenEverest 数据库集群的 Kubernetes 控制器架构，旨在通过 ELBBinding CRD 状态隔离、Mutating Webhook 源头阻断 CCM 和 Finalizer 隔离三大核心机制，实现 ELB 实例的自动创建和全生命周期管理，彻底消除与 CCE CCM 的 Service status 竞争。

架构类型为 Kubernetes 控制器 + 华为云 ELB 直接 API 管理架构，云平台为华为云。

外部系统说明：

2.2 业务背景

2.3 架构优点

• ELBBinding CRD 状态隔离：ELB 状态存储在独立 CRD 中，不受 Service metadata 覆盖影响，即使 CCM 覆盖整个 Service metadata，权威状态仍可从 ELBBinding 自愈
• Mutating Webhook 源头阻断 CCM：自动注入 loadBalancerClass: huawei-elb.io/direct-api，CCE CCM 从创建之初就完全跳过该 Service，0 干预 0 噪音，不产生任何 GetLoadBalancerFailed 事件
• Finalizer 隔离：cleanup finalizer 写在 ELBBinding 上而非 Service 上，CCM 覆盖 Service metadata 时 finalizer 不会丢失，ELB 资源不会泄漏
• 零配置自动模式：不创建 LBC 即可全自动创建 ELB，VPC/子网/可用区自动探测，与 EKS/GKE 体验一致
• 直接 API 管理：控制器直接调华为云 ELB v3 API 创建/更新/删除 ELB 及子资源，不依赖 CCM，不写任何 kubernetes.io/elb.* 注解
• 防重复创建 ELB：当 OpenEverest 覆盖 elb-id 注解时，控制器通过 ELBBinding Status 或名称反查恢复关联，避免重复创建孤儿 ELB

2.4 设计关注点

3.5 典型架构

架构图文件：

2.6 流程描述

数据流步骤与架构图中圆圈数字 ①-⑧ 一一对应：

1. 数据库客户端访问：数据库客户端（psql/mysql/mongosh）→ EIP 弹性公网 IP（客户端通过公网 IP 连接数据库）
2. 流量转发到 ELB：EIP → ELB 实例（公网 IP 将流量转发到弹性负载均衡器）
3. ELB 分发到节点：ELB → CCE 节点（ELB 通过 NodePort 将流量分发到后端 CCE 节点）
4. 节点转发到数据库 Pod：CCE 节点 → 数据库 Pod（节点上 NodePort 转发到数据库 Pod 中的 pgbouncer + postgresql）
5. Service 创建触发 Webhook：DatabaseCluster CR → OpenEverest 创建 LoadBalancer Service → K8s API Server 调用 Mutating Webhook（拦截 everest 命名空间的 Service CREATE 请求）
6. Webhook 注入 loadBalancerClass：Webhook 检查通过后注入 spec.loadBalancerClass: huawei-elb.io/direct-api → CCM 看到不匹配的 class 完全跳过该 Service
7. Controller 创建 ELB 资源栈：Controller watch 到 Service → 创建 ELBBinding CRD（OwnerReference + finalizer）→ 探测 VPC/子网/可用区 → 直接调 ELB v3 API 创建 ELB + Listener + Pool + Members + HealthCheck + ACL
8. 状态回写与对外可用：Controller 写 ELBBinding Status（elbID, ingressIP, phase=Ready）+ 更新 Service status → Service 获得 EXTERNAL-IP，数据库客户端可通过公网 IP 访问

2.7 云服务产品清单

3. 参考链接

• huawei-elb-controller GitHub 仓库
• huawei-elb-controller 中文 README
• 华为云 ELB 产品文档
• 华为云 EIP 产品文档

4. 使用限制

• 参考架构非生产就绪：本文档为参考架构，提供设计蓝图和最佳实践指导，不包含可直接部署的自动化脚本或完整配置。实际部署需根据组织具体需求进行定制化适配
• 云平台版本要求：CCE 集群需 Kubernetes 1.31+，OpenEverest 需使用 everest.percona.com/v1alpha1 API group，部分服务可能需企业版账号或特定版本才能开通使用
• 服务白名单：华为云 ELB、EIP 服务需已开通，IAM 子用户需具备 ELB Administrator、EIP Administrator、VPC ReadOnly、ECS ReadOnly 权限
• 跨区域部署限制：region 必须与 CCE 集群所在 region 一致（如 cn-north-4、sa-brazil-1），凭据 Secret 中 region key 不设置会导致控制器启动失败；跨区域部署时需考虑数据同步延迟和合规要求
• 推荐部署规模：适用于需要在华为云 CCE 上运行 OpenEverest 数据库集群并对外暴露访问的中大型组织，EIP 配额有限（默认约 5-6 个），多集群部署需关注配额管理
• 组件替换风险：架构设计支持组件替换和新增，但替换已验证的组件（如使用其他 ELB 管理方案替代本控制器）可能引入集成兼容性问题，需额外测试验证
• 合规认证依赖：架构对标相关合规标准，但实际合规认证需组织自行完成认证流程，本架构不替代正式合规审计
• 持续运维要求：架构需要持续的策略调优、版本升级和监控运营，非一次性部署即可永久生效；Webhook 证书需维护，控制器需跟随 OpenEverest 版本升级

附录 A. 术语和缩略语