华为云提供数据生产全流程云底座，助力智驾业务端到端自研
1. 用途和受众
1.1 预期用途
- 指导华为云云容器引擎CCE上Argo workflow的安装与使用。
- 为售前、解决方案设计、实施和审查提供可重用的架构模式。
- 作为解决方案手册、交付包或实际部署的架构基础。
- 定义安全性、可靠性、性能、成本、运营和合规性护栏。
1.2 目标受众
| 观众 | 典型角色 | 预期用途 |
|---|---|---|
| 内部 | 架构师、开发人员、交付架构师、运营工程师 | 交付和实施 |
| 外部 | 客户、合作伙伴、ISV | 实施、集成和操作 |
2. 参考架构概述
2.1 架构描述
本参考架构基于华为云云原生、存储与大数据服务体系构建，面向自动驾驶数据生产场景，覆盖数据采集上云、合规脱敏预处理、多模态向量挖掘、Argo工作流编排标注全流程功能，具备高并发弹性、安全合规、可观测可治理的核心质量属性，可支撑PB级智驾数据的规模化、自动化生产。
2.2 业务背景
| 项目 | 描述 |
|---|---|
| 业务问题 | 智驾数采数据规模大、格式复杂，传统传输与处理链路效率低下；数据标注任务缺乏统一云原生编排，并发产能不足；GPU/NPU/CPU异构算力分散调度，资源利用率低；数据全链路安全合规管控难度高，缺乏体系化可观测与运营能力。 |
| 期望的结果 | 业务层面：实现智驾数据从采集到标注产出的全链路自动化流转，大幅提升数据生产效率，缩短算法模型训练的数据供给周期，支撑智驾技术快速迭代。 <br>技术层面：构建弹性可扩展的云原生数据流水线，实现异构算力统一调度、全流程安全合规管控、全链路可观测治理，降低算力与运维综合成本。 |
| 主要用户 | 车企智驾算法研发团队、数据标注生产运营团队、云平台运维与算力运营团队、安全合规管理团队。 |
| 关键制约因素 | 需满足数据安全、个人信息保护相关监管要求，数据脱敏与合规审计为强制约束；原始数采数据体量庞大，对存储带宽、传输效率与算力资源有较高性能要求；需兼容开源Argo Workflow生态与现有数据处理工具链；项目存在明确的上线周期与算力成本管控要求。 |
| 成功指标 | 核心生产链路服务可用性≥99.9%；TB级数据端到端处理周期缩短30%以上；异构算力平均利用率提升至60%以上；支持千级以上标注任务并行调度；全链路指标、日志可观测覆盖率100%，故障定位时间降至分钟级。 |
2.3 架构优点
- 通过数据快递服务DES快速上传数采数据，方便快捷、安全、高效经济
- 云原生开源Argo workflow社区活跃，适合复杂智驾业务和大规模并发场景
- 提供灵活弹性的计算资源，通算、智算、异构资源统一管理、调度
- 通过AOM、CES监控建立算力运营黄金指标+看板，实现算力资源可观测、可预警、可优化
2.4 设计关注点
| 性能 | 安全 | 观测/运维 | 可靠性 |
|---|---|---|---|
| ArgoWorkflow满足大规模并发 昇腾提高智驾模型运行效率 | DES上云防攻击、防篡改 WAF、CFW防护南北流量 | AOM、CES实现云服务、算力可观测 LTS日志系统实现可定位 | 全栈云服务高可靠 多AZ资源高可用 OBS多AZ高可靠 |
2.5 典型架构
典型架构图
2.6 流程描述
- 数据采集上云（对应架构①）
数采车采集的智驾原始数据，通过数据快递服务DES进行高速、安全的批量离线传输，将线下数采数据上传至云上对象存储服务OBS完成原始数据落盘；同时高性能文件存储SFS Turbo为后续计算任务提供共享文件存储与高IO读写支撑。
- Argo workflow任务提交（对应架构②）
Argo Workflow公网对外流量统一经由弹性公网IP EIP、弹性负载均衡ELB接入，外层通过云防火墙CFW、Web应用防火墙WAF实现南北向流量防护与攻击拦截，构建网络安全边界。用户通过Argo WebUI或者Argo SDK提交工作流，Argo workflow完成 DAG 依赖解析、并行度、超时、资源约束校验，向 CCE 发起 Pod 调度请求。根据任务配置自动完成并发控制、失败重试、超时终止、Pod 生命周期管理，调度任务 Pod 运行到对应业务异构算力节点，容器镜像统一通过容器镜像服务SWR分发管理；Argo workflow工作流示例：
alt text
- 合规脱敏及预处理（对应架构③）
原始数采数据入云后，业务平台启动合规脱敏及预处理的Argo workflow工作流，依托集群底层AI Infra提供的异构算力资源，先执行合规脱敏处理，完成人脸、车牌等敏感信息的去标识化；随后开展数据预处理，包括视频抽帧、图片切片、格式归一化、数据清洗与质量校验等操作，为后续挖掘与标注生产标准化数据集。
- 数据挖掘与向量化沉淀（对应架构④）
预处理后的数据集送入数据挖掘环节，调用多模态大模型对异构图片/视频数据进行特征提取与向量化处理，将生成的向量特征存入云搜索服务CSS向量数据库，支撑文本+图片的跨模态向量检索与数据挖掘；挖掘后的结构化结果与元数据统一存入MapReduce服务MRS构建智驾数据湖。
- 数据标注（对应架构⑤）
通过数据挖掘获得高价值的数据后，业务平台并行启动物体检测、占用网格、语义分割等多条工作流，并行调度海量、复杂的智驾数据标注任务；配合CCE的Autoscaler弹性能力实现异构算力资源的动态扩缩容。
过程中借助分布式缓存DCS、消息队列Kafka、关系型数据库RDS完成任务解耦、状态缓存与元数据全生命周期管理。
- 可观测性与全链路治理（对应架构⑥）
全链路资源与任务通过应用运维管理AOM、云监控服务CES统一监控，聚合算力利用率、任务运行状态、集群健康度等核心指标，搭建运营看板实现算力资源可观测、可预警、可优化；云日志服务LTS提供全链路日志采集、检索与分析，支撑问题快速定位。
安全治理层面，通过统一身份认证IAM实现细粒度权限管控，云审计服务CTS记录全量操作审计日志，结合网络层安全防护，构建端到端的安全合规体系。
2.7 云服务产品清单
| 分类 | 服务或产品 | 推荐配置 |
|---|---|---|
| 基础网络与安全 | ELB、CC、DC、ER、DDoS、WAF、HSS等 | |
| 存储、数据库、中间件 | OBS、SFS Turbo、DES、MRS、RDS、DMS、DCS、CSS等 | |
| 平台层 | CCE、ModelArts | |
| 运维管理层 | AOM,LTS,CES等 |
3. 参考链接
- 产品文档：云容器引擎CCE官方文档
- 实施指南：argo-workflow-installation-for-cce
- 源代码或 IaC：不涉及
- 操作手册：不涉及
- 安全性和合规性映射：
<URL>
4. 使用限制
- 仅可应用于华为云CCE的Argo workflow指导
- 由于华东二和某些region的OBS禁用了path访问，导致Argo workflow对接失败，只能选择禁用path访问前的桶
附录 A. 术语和缩略语
| 术语 | 定义 |
|---|---|
| 云容器引擎CCE | 高度可扩展的、高性能的企业级Kubernetes集群 |
| Argo Workflow | 开源云原生的通用的工作流引擎 |
- 点赞
- 收藏
- 关注作者
评论（0）