一、前言

随着数字化浪潮的推动，人工智能技术正在以前所未有的速度深刻改变着我们的生活、工作方式以及社会结构。AI技术的飞速发展不仅为各行业带来了前所未有的机遇，也同时引发了关于其风险与挑战的广泛关注。如何平衡技术进步与安全保障，如何确保AI的可信性和可持续性，已成为行业内外的热点话题。12月11日，由中国计算机学会计算机视觉专委会（CCF CV）与上海合合信息科技股份有限公司联合举办的企业交流会，围绕“打造大模型时代的可信AI”展开，旨在深度探讨人工智能的安全问题与发展路径，推动产业在快速发展的同时实现可控与健康发展。

二、活动背景与主题

本次交流会的主题为 《打造大模型时代的可信AI》 ，聚焦人工智能技术面临的多重安全挑战。随着深度伪造技术的快速发展，AI算法偏见、数据隐私保护等问题的日益凸显，使得AI的信任度和安全性问题成为行业发展的瓶颈。专家学者们深入剖析了这些挑战，讨论了如何在大模型时代建设更为完善的风险防控机制，确保AI技术不仅具备强大的计算能力，还能够在伦理、隐私和公平性方面实现可控性。此次会议强调了“可信AI”的核心价值，并提出了通过跨学科、多方合作来建立可持续的AI发展模型。

三、会议主要观点分享

1.智能共生时代——平衡生成式AI的创新与风险

金耀辉教授，来自上海交通大学，就“智能共生时代：平衡生成式AI的创新与风险”进行了深入的探讨，深入分析了生成式人工智能（AI），尤其是 大语言模型（LLMs） 在快速发展中带来的安全挑战和潜在风险，并探讨了有效的应对策略。

1.1大语言模型的安全挑战

金教授指出，随着LLMs技术的飞速发展，它们在数据安全、知识产权保护、算法偏见识别和有害内容生成等方面面临严峻挑战。这些挑战不仅涉及技术层面，还触及法律、伦理和社会等多个维度。例如，三星员工违规使用ChatGPT导致机密资料外泄，以及新闻网站CNET使用LLMs生成的文章包含严重事实错误，都是LLMs安全风险的具体体现。

1.2应对策略：安全保障手段

金教授提出了三种主要的安全保障手段来应对LLMs的风险：

1. 面向安全的训练对齐：通过对LLMs进行微调，使其在性别、种族、宗教等方面不表现出偏见。这涉及到算法（如监督式微调和基于人类反馈的强化学习）和数据（如演示数据和偏好数据）的调整，以确保模型在处理敏感信息时的公正性和安全性。
   

2. 面向安全的提示引导：利用精心设计的提示词引导LLMs生成安全的响应。金教授提到了Freysa系统，这是一个LLM agent，其系统提示词用于执行安全操作，如防止资金转移，展示了通过提示工程提升模型安全性的潜力。

3. 面向安全的文本过滤：作为大语言模型内容安全的外围护栏，文本过滤技术能够直接防止有害内容的产生。金教授讨论了基于规则和模型的方法，包括使用传统模型、判别式语言模型和大语言模型进行有害内容检测。

金教授的演讲强调了在智能共生时代，平衡AI创新与风险的重要性。他提出的技术策略和实践不仅有助于确保LLMs的安全和可靠，也为AI技术的健康发展提供了指导。通过这些措施，我们可以更好地利用AI技术，同时防范和减少其潜在的风险。

2.视觉内容安全技术的前沿进展与应用

郭丰俊，合合信息图像算法研发总监，就视觉内容安全技术的最新进展和应用进行了深入分享。他强调了在数字化时代，视觉内容安全技术的重要性，尤其是在AI技术推动下，伪造技术的普及使得视觉内容安全面临新的挑战。他的演讲不仅揭示了技术前沿的最新进展，还展示了合合信息在这一领域的创新实践和行业领导力。

2.1视觉内容安全发展现状

郭丰俊博士指出，随着人工智能技术的快速发展，尤其是深度学习技术的进步，视觉内容的伪造变得更加容易和逼真，这对现有的安全检测技术提出了新的挑战。合合信息作为领先的人工智能及大数据科技企业，正致力于开发先进的视觉内容安全技术，以应对这些挑战。

2.2行业应用与挑战

郭丰俊博士强调，合合信息在视觉内容安全技术的应用上不断取得突破，这些技术不仅在金融、法律和媒体验证等领域发挥着重要作用，还在不断拓展新的应用场景。例如，合合信息的图像篡改检测技术在金融领域的票据和证明文件验证中，有效防止了伪造文件带来的风险。

合合信息参与了《文本图像篡改检测系统技术要求》的制定，这一标准的发布为行业提供了一个统一的技术规范，有助于提升整个行业的视觉内容安全技术水平。郭博士提到，这一标准的制定是合合信息与业界同行共同努力的结果，体现了公司在行业中的领导地位和对技术发展的深刻理解。

2.3技术趋势与代表性工作

郭丰俊分享了视觉内容安全技术的几大趋势，包括：内容安全系统的主要需求方向，如人脸伪造、图像篡改等。

他还探讨了基于大模型的技术探索方面的成果。ForgeryGPT结合了自然语言处理和计算机视觉技术，用于检测和定位图像中的伪造内容。这一技术的发展，不仅提升了检测的准确性，也为视觉内容安全技术的未来发展方向提供了新的思路。

郭丰俊博士的演讲不仅是对视觉内容安全技术发展的一次深刻剖析，也是对合合信息在这一领域创新实践的一次全面展示。通过他的分享，我们看到了合合信息在推动这一领域进步中的不懈努力。随着技术的不断进步和创新，我们有理由相信，在合合信息等企业的引领下，视觉内容安全技术将开启一个新的时代，为构建更安全、更可靠的数字世界贡献力量。

3.人工智能安全检测评估的逻辑和要点

3.1人工智能安全风险分析

中国电子标准院网络安全中心测评实验室副主任、CCIA 数字安全委员会常务副主任何延哲的演讲深入探讨了人工智能安全风险，涵盖了以下关键领域：

- 网络信息安全风险：包括虚假内容泛滥、有害内容生成及社会价值引导问题。
- 科技伦理安全风险：涉及阶层分化、产业冲击、心理失衡等社会伦理问题。
- 算力网络安全风险：关注算力基础设施安全及AI辅助网络攻击问题。
- 算法模型安全风险：包括算法歧视、不透明性、决策失衡等问题。
- 数据安全和隐私保护风险：涉及数据泄露、滥用、知识产权及身份伪造等问题。

3.2安全监管逻辑

演讲中提出了AI安全监管逻辑，包括：

• 算法模型管理：基本信息备案、原理和机制说明、简要评估结论。
• 应用过程管理：限制应用范围、设置拒绝机制、监测应用风险。
• 训练数据管理：数据来源合法性、数据标注规范性、内容过滤完备性。

3.3安全检测评估框架

何延哲提出了一个多维度的安全检测评估框架，包括：

• 合规测评/风险评估：依据国家标准进行AI系统的合规性测评。
• 影响评估/合规审计/安全评估：对AI系统的影响进行评估，包括个人信息保护和数据安全。
  

3.4技术实施细节

在技术实施方面，何延哲详细介绍了以下内容：

• 算力网络安全检测评估：包括网络安全等级保护测评和关键信息基础设施安全评估。
• 个人信息保护检测评估：涉及合规审计和影响评估（PIA），重点关注个人权益影响分析和风险评价。
• 数据安全检测评估：包括数据权限梳理、数据行为审计和数据泄露溯源。

何延哲强调，构建一个综合的安全治理体系需要技术、法律、政策和标准的支持。他建议：

• 技术措施：发展先进的安全检测技术，如基于AI的安全评估工具。
• 法律与政策：制定和实施针对AI安全的法律法规，引导AI技术的健康发展。
• 标准制定：依据国家标准，如GB/T 42888-2023《信息安全技术 机器学习算法安全评估规范》，进行AI系统的安全评估。

4.深度伪造视频的主动防御与被动检测技术

中国科学技术大学谢洪涛教授的演讲深入探讨了深度伪造（Deepfake）技术，这是一种利用深度学习伪造或生成人脸图像的技术。他详细介绍了深度伪造的分类，包括整幅人脸合成、人脸属性编辑、表情迁移和身份替换等，并概述了深度伪造技术的发展简史，从2014年的GAN/VAE基础模型到最新的可控图像生成技术。

4.1主动防御与被动检测技术

谢教授区分了主动防御和被动检测两种技术策略：

• 主动防御：在内容发布前添加干扰信号，防止伪造或确保伪造内容能够被溯源。
• 被动检测：在人脸素材被伪造后，利用伪造视频自身的线索或特征进行检测。

4.2主动干扰技术

谢洪涛介绍了主动干扰技术，包括：

• 通用性人脸预处理主动干扰技术：通过在人脸图像上添加噪声，使得深度伪造模型失效。
• 基于解耦的人脸生成过程主动干扰技术：通过在人脸生成过程中添加对抗性噪声，防止伪造。

4.3主动取证技术

在主动取证方面，谢教授讨论了：

• 可信来源验证：通过嵌入鲁棒性水印，实现对图像的版权保护与可信来源验证。
• 深度伪造取证：通过嵌入半脆弱性水印，实现对图像深度伪造的取证。

4.4被动检测技术

谢洪涛还探讨了被动检测技术，包括：

• 基于图像级不一致性的伪造检测：通过检测图像中的不一致性来识别伪造。
• 基于视频级动态不一致性的伪造检测：通过分析视频中的动态变化来识别伪造。
• 基于时空身份信息蒸馏的伪造检测：通过分析视频中的时空身份信息来识别伪造。

谢教授分享了其团队在特定人物深度伪造视频的主动防御与被动检测技术方面的最新研究进展，包括特征空间通用扰动、对抗妆容扰动、双重水印嵌入和语义水印嵌入等技术。

谢洪涛教授的演讲强调了深度伪造技术的发展对个人隐私、国家安全和社会信任的影响，以及主动防御和被动检测技术在应对这些挑战中的重要性。他呼吁业界和学术界共同努力，发展更先进的技术来检测和防御深度伪造内容，以确保数字媒体的真实性和可信度。为我们提供了深度伪造技术及其检测与防御技术的深入分析，强调了在AI技术快速发展的今天，确保视觉内容安全的重要性和紧迫性。

5.生成式视觉内容鉴别与安全

中国科学院自动化研究所的研究员赫然博士在其演讲中深入剖析了生成式人工智能（GenAI）的安全性和治理问题，特别强调了随着GenAI技术的进步，其在创造新内容方面展现出的巨大潜力，以及随之而来的安全风险和挑战。

5.1生成式AI的技术进步与风险并存

赫然指出，生成式AI技术的发展已经从早期的规则基础系统演变为现今深度学习的复杂模型，如GAN和VAE。这些技术的进步使得高维视觉内容的生成变得更加逼真和高效，但同时也带来了数据版权、隐私泄露和模型脆弱性等问题。特别是在深度伪造技术方面，其以人为主体的欺骗性给个人隐私、国家安全乃至国际关系都带来了前所未有的挑战。

5.2国际战略布局与安全风险管理

赫然分析了国际上对生成式AI安全风险的关注和战略布局。不同国家和地区根据自身的安全和发展需求，对GenAI的安全问题采取了不同的策略。例如，美国和欧盟更加重视个人隐私和伦理问题，而俄罗斯和以色列等国家则更关注其在军事领域的应用。这些不同的战略布局反映了GenAI技术在全球范围内的深远影响和紧迫的安全需求。

5.3特征表示模型与深度伪造检测

在深度伪造检测方面，赫然提到了特征表示模型的重要性。这些模型能够捕捉到伪造内容的特征，帮助区分真实与伪造的媒体内容。他强调了在这一领域中，如何提高检测的准确性和鲁棒性是当前研究的重点。

5.4生成模型与虚拟身份的构建

赫然探讨了生成模型在构建虚拟身份方面的应用，包括无条件人脸合成和身份替换技术。这些技术的应用范围从娱乐到安全领域，都显示出了巨大的潜力。然而，这也带来了身份盗用和伪造身份的风险，需要通过技术手段进行有效管理和控制。

赫然的演讲强调了在享受生成式AI技术带来的便利的同时，必须对其潜在的风险保持警惕，并采取相应的安全措施。他呼吁学术界、工业界和政策制定者共同努力，制定出一套全面的安全治理框架，以确保技术的健康发展和应用。

四、总结

随着人工智能技术的不断创新与普及，AI安全问题日益成为全球讨论的焦点。如何确保AI技术在带来社会变革的同时，不引发不良后果，是每个从业者和决策者必须面对的挑战。本次CCF-CV企业交流会汇聚了来自学术界、产业界的领先专家，共同探讨了AI安全领域的前沿技术和未来发展方向。通过深入的交流与探讨，会议展示了AI技术如何在保障安全性的同时，更好地服务于社会和人类的长远发展。相信通过政府、学术界和产业界的持续合作，我们能够共同推动AI技术健康、可持续的发展，构建更加智能、可信的未来。