人工智能(AI)技术具有双刃剑效应,它造福了人类,但是如果开发不当,则会对人类和社会产生负面影响。在此背景下,以人为中心人工智能(human-centered AI,HCAI)的开发理念应运而生。

01、引言

人工智能( AI )技术肯定是一项有利于人类和社会进步发展的新技术,并且正在对人类工作和生活的方方面面产生深刻和积极的影响。但是,研究表明,在研发各类面向用户的 AI 系统、产品和服务(以下简称智能系统或者智能解决方案)中,许多研发人员主要关心技术问题(例如算法),而不重视用户需求和 AI 对人类的影响( Hoffmanetal. , 2016 ; Lazeretal. , 2014 ; Lieberman , 2009 )。早在 2015年,著名科学家 StephenHawking 和企业家 ElonMusk 等向社会公开呼吁,如果不考虑人类的角色和作用而盲目开发 AI , AI 最终将伤害人类( Hawking , Musketal. , 2015 )。2023 年,针对 ChatGPT3.5和 4.0 版本的发布,包括图灵奖获得者 YoshuaBengio 、苹果 CEOTimCook 、特斯拉 CEOElonMusk在内的 3 万多人联合签署了一封公开信,进一步表达了对 AI 可能给人类带来负面影响的担心( OpenLetters , 2023 )。目前,在 AI 技术及其应用日益普及的同时,人们对 AI 技术潜在负面影响的担忧也越来越多,我们必须采取有效的系统化措施。

历史似乎在重复。20 世纪 80 年代,个人计算机刚刚兴起时,计算机应用产品的用户主要是程序员等专家用户,因此,程序员在产品开发中只考虑技术因素,不考虑可用性和用户体验,这种现象被称为“专家为专家设计“。目前,许多智能系统的研发也面临类似的问题,许多人的关注点集中在技术和算法等方面,而忽略了 AI 技术给人类和社会可能带来的潜在负面影响。AI “黑匣子”效应就是一个例子, AI 研发人员主要考虑自身的需求,而不是为普通目标用户提供可解释和可理解的AI ( Milleretal., 2017 )。20 多年前,“以用户为中心设计”实践的兴起带动了可用性、用户体验、人机交互(human-computerinteraction , HCI )等新领域的兴起和发展。今天,在全社会大力推广和研发AI 新技术时,我们再次遇到了是否应该遵循“以人为中心”理念的问题。

在这样的背景下,本章首先分析 AI 技术的双刃剑效应以及对可持续 AI 发展带来的新挑战;在此基础上,阐述“以人为中心人工智能”(human-centeredAI ,以下简称 HCAI )的理念、基本设计目标、主要实现途径和设计原则,阐述提出 HCAI 理念的意义;然后,提出实施 HCAI 理念的策略和行动;最后,概括本书的贡献和架构。本章讨论的 HCAI 理念是 AI 技术研发和实施应该遵循的理念,这是贯穿于全书的一条主线。

02、AI的双刃剑效应

AI 的双刃剑效应是指合理开发和使用 AI 会造福人类,但是不合理的开发和使用则将对人类和社会产生负面影响。Yampolskiy 等(2019 )的研究表明,不恰当的 AI 技术开发导致了许多伤害人类公平、公正以及安全的事故。AI 事故数据库已经收集了 1000 多起与 AI 有关的事故( McGregoretal., 2021 ),这些事故包括自动驾驶车撞死行人,交易算法错误导致市场“闪崩”,面部识别系统出错导致无辜者被捕等。跟踪 AI 滥用事件的 AIAAIC 数据库表明,自 2012 年以来, AI 滥用相关事件的数量增加了 26 倍( AIAAIC ,2023 )。现有研究已经表明 AI 技术至少具有以下局限性( NAS , 2021 ;许为,2019 , 2020 )。

• 脆弱性: AI 在其编程或训练数据涵盖的范围内表现良好,但是,当遇到与先前学习不同的新行为类别或者不同的数据统计分布时,它可能会表现不佳,而实时学习训练需要时间,可能导致学习周期期间的性能缺陷。

• 感知限制:如果信息输入不正确,则可能破坏 AI 对高阶认知过程的学习。

• 潜在偏见:有限的训练数据集或数据本身带有的偏见会导致智能系统潜在的输出偏见。

• 不可解释性:机器学习( ML )算法的“黑箱效应”和不透明问题会导致智能系统输出难以解释和理解。

• 无因果模型: ML 技术基于简单的模式识别,缺乏因果模式,导致无法理解因果关系,无法预测未来事件、模拟潜在行动的影响、反思过去的行为或学习。

• 开发瓶颈效应:机器智能很难模拟人类高阶认知过程和能力,导致单一开发机器智能的技术路线遇到瓶颈效应。

• 自主化效应: AI 的自主化( autonomy )特征可能导致类似自动化技术的人因问题,影响操作员的工作绩效,其中包括自动化困惑、自动化讽刺、情景意识降低、“人在环外”失控、人为决策偏差、手工技能退化等。

• 伦理问题:智能系统会产生包括数据隐私、用户公正和公平在内的一系列问题。

• 独立操作性: AI 被证明在复杂的操作环境中表现出了许多问题。在可预见的未来, AI 仍不足以在许多复杂和新颖的情况下独立运行,许多任务仍然需要人类执行和管理,以实现其预期的效用。在许多应用场景中, AI 无法替代人类,人类需要维持最终的决控权。

AI 技术潜在的负面影响可能在各类智能系统的使用中发生。例如,一些利用不完整或被扭曲的数据训练而成的智能系统可能会导致该系统产生有偏见性的“思考”,轻易地放大偏见和不公平等,它们遵循的“世界观”有可能将使某些用户群体陷入不利的地位,影响社会的公平。正因为这些问题,一些 AI 项目最终未能投入使用( Guszcza , 2018 ; Hoffmanetal. , 2016 ; Lazeretal. , 2014 ; Lieberman ,2009 ; Yampolskiy , 2019 )。当越来越多的企业、政府、学校、医疗、服务等机构采用智能决策系统时,具有偏见“世界观”的 AI 决策将直接影响人们日常的工作和生活。人们甚至担心 AI 将来可能排斥人类,人类终将失去控制,智能武器甚至可能会给人类带来灾难。类似地,核能和生化技术同样具有双刃剑效应。合理利用核能和生化技术可以造福人类,但是不合理地利用核能、生化技术制造和使用核、生化武器,则有可能对人类和社会造成灾难性的后果。然而,核能和生化技术的掌握难度相对比较高,是一种高度中心化的技术,只有少数国家可以掌握。而AI 技术的开发和使用是一种去中心化的全球现象,门槛相对较低,这就使得对 AI 技术的控制更加困难,因此,合理开发和使用 AI 技术显得更加重要。

综上所述, AI 技术既能造福人类,但也给人类带来了潜在的负面影响。人类在 AI 技术系统开发和使用中仍然具有不可替代的位置,我们需要采用怎样的策略和方法来解决 AI 技术给人类可能带来的负面影响呢?

03、“以人为中心人工智能”理念

3.1AI 发展的“人的因素”新特征