聊天频道 AI 图片审核与自动删除机器人架构

1. 用途和受众

1.1 预期用途

• 指导华为云上聊天频道图片内容自动审核系统的设计和开发。
• 为售前、解决方案设计、实施和审查提供可重用的架构模式。
• 作为解决方案手册、交付包或实际部署的架构基础。
• 定义安全性、可靠性、性能、成本、运营和合规性护栏。

1.2 目标受众

• 华为云 FunctionGraph 用户和 Serverless 应用开发者；
• 需要为大型企业聊天工作区或在线社区构建自动化内容审核机制的平台运维团队；
• 关注聊天频道内容合规、希望利用 AI 图像审核自动检测并清除色情/暴力等敏感图片的安全治理人员；
• 需要以事件驱动 + 全托管 Serverless 方式实现毫秒级图片审核、弹性应对大规模消息流量的应用架构师；
• 负责教育平台、公共社交频道等场景内容安全保护、希望降低人工审核成本并实现 7×24 自动值守的 IT 管理者。

2. 参考架构概述

2.1 架构描述

本架构是一个聊天频道图片内容自动审核系统，用于自动检测并删除聊天应用频道中用户发送的不当图片（含色情、暴力等敏感内容）。当用户在 Slack 频道发布图片消息时，系统自动调用 AI 图像审核服务检测图片内容，一旦发现不当内容，立即从频道删除该图片并由机器人发布删除说明消息。架构采用全 Serverless 设计，通过 API 网关接收事件回调，函数工作流编排审核流程，ModelArts 执行 AI 推理，实现事件驱动 + 自动决策 + 闭环治理三位一体的内容安全控制。

2.2 业务背景

2.3 架构优点

2.4 设计关注点

2.5 典型架构

典型架构图

架构采用 6 层布局：

2.6 流程描述

架构按编号标注了完整的事件处理流程：

[Slack用户] ──①──> [Slack API] ──②──> [APIG] ──③──> [FunctionGraph]
                                                        ├──> [OBS] (下载/存储图片)
                                                        ├──④──> [ModelArts] (图像审核)
                                                        └──⑥──> [Slack API] (删除+发消息)

2.7 云服务产品清单

3. 参考链接

• 产品文档：https://support.huaweicloud.com/productdesc-apig/zh-cn_topic_0080100778.html
• 实施指南：https://support.huaweicloud.com/usermanual-functiongraph/functiongraph_01_0001.html
• 源代码或 IaC：
• 操作手册：
• 源参考架构：

4. 使用限制

• Slack Event Subscription 要求回调 URL 必须在 3 秒内返回 HTTP 200，函数冷启动可能超时，建议预留预热实例。
• ModelArts 图像审核模型的检测精度依赖于训练数据，特定场景（如卡通、艺术作品）可能产生误判，需调优置信度阈值。
• OBS 临时存储的图片需配置生命周期策略自动清理，避免长期占用存储空间。
• 架构当前仅支持 Slack 平台，扩展至其他聊天平台（如飞书、钉钉）需适配各自的事件回调机制。

附录 A. 术语和缩略语