1. 用途和受众
1.1 预期用途
- 指导华为云上 CPG(消费品行业)个性化推荐与预测性消费者互动系统的设计和开发。
- 为售前、解决方案设计、实施和审查提供可重用的架构模式。
- 作为解决方案手册、交付包或实际部署的架构基础。
- 定义安全性、可靠性、性能、成本、运营和合规性护栏。
1.2 目标受众
- 华为云 ModelArts 用户和机器学习推荐算法工程师;
- 消费品行业(CPG)的数字化营销和消费者运营团队;
- 需要构建实时个性化推荐引擎、实现消费者行为捕获到推荐推送秒级闭环的企业技术团队;
- 关注批流分离数据架构、希望将 ERP/CRM 批量数据与实时点击流事件统一治理的数据架构师;
- 希望通过多渠道统一编排(Web/移动端/短信/邮件)实现精准营销触达、并持续优化推荐模型的品牌运营管理者。
2. 参考架构概述
2.1 架构描述
本架构面向消费品行业(CPG),通过机器学习分析消费者的行为数据(浏览、购买、加购等),实时生成个性化商品推荐,并通过多渠道(Web、移动端、短信、邮件)向消费者推送精准的营销消息,实现"在正确的时间通过正确的渠道向正确的消费者发送正确的消息"。架构采用 6 层布局:外部系统/用户层、数据采集与准备层、实时事件处理层、ML 推荐引擎层、服务与互动层、公共服务。核心价值在于:ML 实时推荐实现千人千面;实时事件流即时响应消费者行为;多渠道统一编排确保跨渠道体验一致;数据驱动的持续自学习优化推荐模型。
2.2 业务背景
| 项目 |
描述 |
| 业务问题 |
传统 CPG 营销依赖人工分组群发、千人一面,营销效果 T+1 才能评估,渠道割裂体验不连贯,推荐依赖经验判断 |
| 期望的结果 |
ML 实时推荐千人千面;实时事件流即时响应;Web/Mobile/短信/邮件统一编排;数据驱动持续自学习优化 |
| 主要用户 |
CPG 品牌营销团队、消费者(终端用户)、数据分析师、运维团队 |
| 关键制约因素 |
推荐模型需基于三类数据(交互、商品、用户);实时事件需秒级响应;多渠道消息需统一管理 |
| 成功指标 |
推荐点击率提升 ≥ 30%;营销转化率提升 ≥ 20%;推荐响应延迟 < 1 秒;模型再训练周期 ≤ 24 小时 |
2.3 架构优点
| 优点 |
描述 |
| 批流分离 |
历史数据(ERP/CRM)走批量通道(DataArts Studio),实时事件走流式通道(DMS),两条路径在 OBS 汇合,兼顾效率与实时性 |
| 事件驱动架构 |
消费者行为事件实时触发 FunctionGraph,自动更新推荐模型数据集,无需人工干预即可保持推荐新鲜度 |
| 训练数据闭环 |
实时事件通过 DIS 持久化到 OBS,形成"采集→存储→再训练"的数据闭环,模型持续自优化 |
| 服务与互动解耦 |
推荐获取(APIG → FunctionGraph → ModelArts)与消息推送(FunctionGraph → SMN)分离,可独立扩展和迭代 |
| 多渠道统一编排 |
SMN 统一管理短信、邮件、App 推送等多渠道消息,确保消费者跨渠道体验一致 |
2.4 设计关注点
| 效益 |
架构如何实现它 |
测量 |
| 安全与合规 |
IAM 统一身份认证与权限管理;APIG API 网关控制访问;VPC 网络隔离各层服务 |
IAM 权限覆盖率 100%;API 访问鉴权率 100% |
| 可靠性和弹性 |
FunctionGraph 无服务器自动伸缩;DMS 消息持久化;OBS 多副本存储 |
服务可用性 ≥ 99.9%;消息丢失率 = 0 |
| 性能和可扩展性 |
DMS 实时事件流高吞吐;ModelArts GPU 推理加速;APIG 高并发 API 分发 |
事件处理延迟 < 100ms;推荐响应 < 1 秒 |
| 成本效益 |
FunctionGraph 按调用付费无需预留资源;DIS 自动批量交付减少存储成本;模型按需训练 |
无服务器成本降低 50%;闲置资源成本 = 0 |
| 卓越运营 |
CES 监控全栈资源指标;AOM 应用运维与日志采集;告警规则自动通知 |
监控覆盖率 100%;告警延迟 < 1 分钟 |
| 交付敏捷性 |
无服务器架构无需管理基础设施;DataArts Studio 可视化数据治理降低开发门槛 |
部署周期缩短 60% |
2.5 典型架构

典型架构图
架构采用 6 层布局:
| 层级 |
名称 |
包含服务 |
说明 |
| Layer 1 |
外部系统 / 用户 |
ERP/CRM 数据、Web(点击流)、Mobile(事件)、消费者 |
外部数据源与终端用户 |
| Layer 2 |
数据采集与准备层 |
DataArts Studio(数据治理)、OBS |
批量数据采集、清洗标准化与存储 |
| Layer 3 |
实时事件处理层 |
DMS、DIS、FunctionGraph |
实时事件捕获、交付与追踪 |
| Layer 4 |
ML 推荐引擎层 |
ModelArts |
ML 个性化推荐模型训练与推理 |
| Layer 5 |
服务与互动层 |
APIG、FunctionGraph、SMN |
推荐 API 暴露与多渠道消息推送 |
| 公共服务 |
横跨各层 |
IAM、CES、AOM |
认证、监控与运维管理 |
2.6 流程描述
架构按编号标注了完整的数据流转路径(6 步):
| 步骤 |
数据流 |
描述 |
| ① |
ERP/CRM → DataArts Studio → OBS |
批量数据采集与清洗标准化,准备训练数据(交互数据、商品数据、用户数据) |
| ② |
Web/Mobile → DMS |
实时事件流捕获消费者行为数据(浏览、购买、加购、收藏等) |
| ③ |
DMS → DIS → OBS |
事件数据交付存储到对象存储,供未来再训练使用 |
| ④ |
FunctionGraph → ModelArts |
事件追踪器实时更新交互数据集,保持推荐模型新鲜度 |
| ⑤ |
APIG → FunctionGraph → ModelArts |
前端通过 API 网关调用推荐服务,获取个性化推荐结果 |
| ⑥ |
FunctionGraph → SMN → 消费者 |
基于预测推荐,向消费者发送个性化消息(短信/邮件/推送通知) |
ERP/CRM ──①──→ DataArts Studio ──→ OBS
│
Web/Mobile ──②──→ DMS ──③──→ DIS ──→ OBS
│ │
└──→ FunctionGraph ──④──→ ModelArts
↑
训练数据(虚线)────────────┘
│
消费者 ←──⑥── SMN ←── FunctionGraph ←──⑤── APIG
│
└──→ ModelArts(获取推荐)
2.7 云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 数据治理 |
DataArts Studio(数据治理中心) |
数据清洗与标准化、数据目录与爬虫,支持可视化数据治理 |
| 存储 |
OBS(对象存储服务) |
存储训练数据、事件数据,多副本持久化,供再训练使用 |
| 消息 |
DMS(分布式消息服务) |
实时事件流捕获,高吞吐 Kafka 引擎,持久化消息 |
| 数据接入 |
DIS(数据接入服务) |
实时事件流批量交付到 OBS,支持自动转储 |
| 计算 |
FunctionGraph(函数工作流) |
事件追踪器与推荐服务,无服务器按调用付费,自动伸缩 |
| AI/ML |
ModelArts(AI 开发平台) |
ML 个性化推荐引擎,支持模型训练与实时推理,GPU 加速 |
| 接入 |
APIG(API 网关) |
暴露推荐服务 RESTful API,高并发分发与流量控制 |
| 消息 |
SMN(消息通知服务) |
多渠道消息推送(短信、邮件、App 推送),统一编排 |
| 安全 |
IAM(统一身份认证) |
管理云资源访问权限,用户与角色授权 |
| 运维 |
CES(云监控服务) |
监控 CPU/内存/网络等指标,告警通知 |
| 运维 |
AOM(应用运维管理) |
应用层监控与运维,日志采集与分析 |
3. 参考链接
- 产品文档:https://support.huaweicloud.com/productdesc-modelarts/zh-cn_topic_0130171810.html
- 实施指南:https://support.huaweicloud.com/bestpractice-modelarts/bestpractice_001.html
- 源代码或 IaC:
- 操作手册:
- 源参考架构:
4. 使用限制
- ModelArts 推荐模型需基于三类数据(交互数据、商品数据、用户数据)训练,数据质量直接影响推荐效果。
- DMS 实时事件流吞吐能力需根据峰值并发量评估,超出分区上限时需扩容分区数。
- FunctionGraph 函数有执行超时限制(默认 3 秒,最大 40 秒),复杂推荐推理需评估耗时。
- SMN 消息推送有频率限制,高频营销场景需配置发送速率控制避免触发限流。
- DIS 数据交付到 OBS 有延迟(通常 60 秒缓冲),对实时性要求极高的场景需评估是否可接受。
附录 A. 术语和缩略语
| 术语 |
定义 |
| CPG |
消费品行业(Consumer Packaged Goods),快消品行业 |
| DataArts Studio |
数据治理中心,提供数据集成、开发、治理和质量监控能力 |
| OBS |
对象存储服务(Object Storage Service),海量数据持久化存储 |
| DMS |
分布式消息服务(Distributed Message Service),基于 Kafka 的实时消息流 |
| DIS |
数据接入服务(Data Ingestion Service),实时数据采集与转储 |
| FunctionGraph |
函数工作流,无服务器计算服务,事件驱动自动执行 |
| ModelArts |
AI 开发平台,提供模型训练、推理和管理全生命周期能力 |
| APIG |
API 网关(API Gateway),API 托管、分发与流量控制 |
| SMN |
消息通知服务(Simple Message Notification),多渠道消息推送 |
| IAM |
统一身份认证(Identity and Access Management),权限管理 |
| CES |
云监控服务(Cloud Eye Service),资源指标监控与告警 |
| AOM |
应用运维管理(Application Operations Management),应用层监控与日志 |
| ERP |
企业资源计划(Enterprise Resource Planning),企业核心业务系统 |
| CRM |
客户关系管理(Customer Relationship Management),客户数据管理 |
| ML |
机器学习(Machine Learning),数据驱动的预测与推荐技术 |
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
评论(0)