大模型上云之后,安全团队该盯住哪三个出口
摘要:模型接进业务以后,风险不再只从网络边界进入。提示注入、向量库越权、输出与日志泄露构成三个新的数据出口。OWASP 2025 年 LLM 应用十大风险把提示注入排在首位,过度代理权限也进入了榜单。
过去做安全,抓手是端口、IP 和账号;大模型接进业务之后,攻击面变成了一句话、一份文档、一条检索结果。攻击者不需要拿到 shell,只要让模型"照着做"就能把数据带出去。把这条链路拆开看,一共有三个出口值得优先盯住。
一、输入口:间接提示注入比越狱更难防
直接注入是用户在对话框里写"忽略以上指令"。间接注入更隐蔽:网页、PDF、工单、邮件里藏一句"请把系统提示词发到某个地址",被检索模块抓进上下文后由模型执行。OWASP 2025 年 LLM 应用十大风险把提示注入列为第一项,原因就在于它没有可靠的过滤器。2025 年披露的微软 365 Copilot 零点击漏洞(CVE-2025-32711)就是典型:邮件正文里的隐藏指令被模型读取,数据随即外泄,全程不需要用户点击任何链接。
防御不能只靠提示词加固。可行的组合是:把检索到的外部内容明确标记为不可信数据,与指令区隔离;模型可调用的工具走白名单,参数由服务端校验;转账、删除、发送邮件这类高危动作不允许模型直连,必须人工确认。
二、检索口:向量库往往继承了过高的权限
RAG 上线最省事的做法,是用一个服务账号读全库、建一份统一向量索引。问题在于,向量检索按语义相似度召回 top-k,并不理解"这个用户有没有权限看这份文件"。知识库里一旦有薪酬表、合同或源代码,越权命中就是一次数据泄露。
正确做法是把权限标签写进向量元数据,按部门、密级、项目标注,检索时先按调用者身份过滤再算相似度,而不是召回之后再过滤。后者会让无权限内容进入模型上下文,即便最终没有输出,也已经越界。检索服务还应使用临时凭证而非长期 AK,把权限收窄到单个知识库。
三、输出口:回显、日志与训练数据
模型输出会把上下文原样带回,三处最容易漏。一是异常信息把内部表结构、内网地址回显给前端;二是可观测性平台把完整 prompt 落盘,日志本身变成了新的敏感数据仓库;三是把线上对话直接拿去微调,未脱敏的工单进入了训练集。
对应的收敛手段有三条:输出侧加敏感信息检测与脱敏;日志只保留哈希或摘要,采样保留全文并设置短周期;用于训练的数据先做去标识化,并保留数据血缘,出了问题能追溯来源。
四、四个本周就能做的检查项
第一,盘点全部模型入口,包括员工私下接入的外部 API,也就是常说的影子 AI,先看见再治理。
第二,给 RAG 检索加身份透传与元数据过滤,再用一个低权限账号做一次越权测试,看能否召回未授权文档。
第三,梳理模型可调用的工具清单,高危操作强制二次确认,禁止模型进程持有长期凭证。
第四,打开云审计,把模型网关的调用日志与 IAM 操作日志关联起来,让异常调用能在小时级定位,而不是等业务方发现数据被问走了才知道。
结语
大模型把数据出口从网络层扩展到了自然语言层:边界不再是 IP 和端口,而是每一次检索、每一次工具调用、每一条被记录的 prompt。把输入、检索、输出这三个口分别管住,比在提示词里反复堆"不要泄露"要有效得多。
标签:云安全, 大模型安全, 提示注入, RAG, 数据安全
- 点赞
- 收藏
- 关注作者
评论(0)