【DTSE Tech Talk直播回顾】零代码构建AI Agent——华为云AI原生应用引擎的架构与实践

本期直播详解

基于大模型的生成式AI，将会引领我们走向AGI通用人工智能时代，经常有人说，在大模型和生成式AI时代，一切应用都值得用AI重做一遍。这是为什么呢？

作为技术从业者，我们需要理解大模型生成式AI给软件开发产业带来的影响：

● 在企业业务活动中，最难以传承和复制的就是业务知识和经验，大模型是一种比较好的途径，能够将企业已经积累的知识经验、场景know-how等内容，以模型的方式对外提供。

● 基于大模型产生了一些场景化的AI能力，这是之前传统AI或传统编程方式所不具备的，比如智能营销内容、辅助软件开发过程、方案生成、智能客服等。

● 基于大模型的AI原生应用给人们的业务活动带来了根本性改变，比如人际交互方式、内容生产方式、个性化用户体验、定制化软件交付等。

对于大模型带来的颠覆性技术创新以及对应用开发的影响，可以归纳为两个方面：

从大模型技术本身来讲，有三方面的颠覆性创新

1. 文生图、文生视频等X到Y的生成/创造能力，这是非常通用的智能化技术；

2. 解数学题、做规划等推理和求解能力；

3. 自然语言对话等自然交互能力。

这是之前传统软件开发或传统软件技术栈内部不具备的一些能力，称之为颠覆性的变。

从软件的视角带来了两个层面的改变

1. AI赋能人，在一定程度上模拟人、超越人，比如具身智能和AI Agent分别在物理世界、数字世界辅助人、替代人；

2. AI重塑存量软件及工具，显著提升人的效率及体验。

大模型与生成式AI驱动软件产业发生新的范式变革

第一点是认知和思想方面的变化，称为AI First新思想，即在软件开发或业务活动中遇到任何问题，首先会思考如何用大模型和生成式AI的技术来解决，这是一种新的思维方式，既包括了对技术的认知，也包括了如何用技术来重构既有的业务流程，或者颠覆既有的开发模式。第二点是AI Native新实践，指从架构、流程、方法等层面带来的新的最佳实践。

除此之外，还可以从4个方面来理解大模型生成式AI给软件开发活动带来的影响：

• 新架构：从构成式架构到生成式架构的变化；
• 新体验：从键鼠与触摸到自然交互的变化；
• 新工程：从以人为本的协作开发到以数据为本的生成式开发的变化；
• 新商业：从软件即服务到服务即软件的变化。

大模型落地企业场景，需要解决的六大关键挑战

1）如何选择合适的大模型，建立有效的模型引入机制

业界模型种类繁多，有不同规格、不同模态，解决问题时如何选择最合适的模型，是一个比较复杂的问题，必须要解决几个关键要素，比如对模型进行专业评测、模型引入要有一套管理机制、回避风险问题以及有效治理能力各异的大模型等。

2）如何用好大模型，在基模之上进一步提升应用使用效果

• 提示词工程：提示词的核心是对业务的理解和抽象，它是围绕业务的一种高度凝练的总结和抽象，构建提示词工程有一定的门槛；
• 模型复用和模型编排：在实际场景中存在多种不同模型的复合使用，需要实现模型之间的有机调度和编排；
• 持续迭代：做完程序或功能后，必然存在如何持续演进的问题，需要基于业务的反馈、知识标注和数据回流来持续提升模型，保证业务效果得到持续优化。

3）如何建立IT部门与业务部门的有效协同机制

• 选择合适的场景需要规避两个问题，一是当前模型可能不太擅长某些问题，二是要注意选择通过低成本解决高价值场景；
• 基于大模型的生成式应用开发，不仅是IT问题，更多的是业务问题，它以数据为中心、结合业务场景，因此，业务部门和IT部门/开发团队在AI原生应用的开发过程中需要做有效协同；
• 开发活动中需要有效实现协同来构筑公共资产，包括业务领域的知识/数据资产、模型和开发活动中的一些公共能力和组件的相关资产。

4）如何准备丰富的高质量数据，帮助AI理解业务

• B端业务场景的数据不太充分，需要通过一定经验和方法来准备高质量数据，华为总结了一些开发的业务活动，构筑到工具平台里面，来辅助开发者完成数据准备；
• 语言类模型本身具备语言能力和推理能力，回答客户问题需要基于企业内部知识库来生成，而不能用模型内部知识，避免给用户造成误导；
• 抑制具备通用知识的模型在业务适配后产生的幻觉，通常是通过挂载外部知识库的方式来实现，但知识库比较复杂、内容来源多样、有多种不同形态，需要有效管理协同知识库的内容，才能确保在检索和生成过程中引用到合适的知识，从而达到更好的幻觉抑制效果。

5）如何建立完善的风险保障机制，确保AI安全可信治理

我国针对大模型、基于大模型生成的应用，都有相关的安全合规、管理的制度和内容，这就要求具备一些能力从源头上确保合法合规。从资产安全性角度，大模型压缩的行业知识和经验、挂载给模型的知识库内容、模型生成的内容，都属于高价值资产，如何保证模型安全、数据安全，也需要重点考虑和解决。

6）如何应对大模型带来的投资成本

在大模型训练推理算力和大模型业务开发活动过程中，平衡成本和收益始终是一个绕不开的话题，可以通过良好的业务规划和设计来复用模型，来达到算力和请求之间的一种均衡，也可以运用提示词缓存等机制，有效降低模型在推理过程中的消耗和成本开支。

华为云AI原生应用引擎，使能千行万业AI原生应用创新

针对以上挑战，华为云推出了AI原生应用引擎，给开发者提供了AI原生应用的一站式服务平台，从模型本身角度，是帮助企业选好、用好、管好大模型，从应用开发效率和效果角度，是赋能开发者实现AI原生应用创新，主要有五大功能：

1. 模型中心：提供模型评测、模型调度、模型可观测性统计、模型治理等相关的功能和活动。

• 模型中心的核心是模型网关，对业界主流大模型、商业大模型、自建模型进行托管，统一管理和调度各种不同来源、不同用途的模型，通过集中的网关来实现统一注册、接入、调度、路由、分发和可观性跟踪，把已有的或第三方模型资产快速注入到模型网关中进行预集成验证，方便被上层调用，同时，模型中心还提供了基于ABM的元数据管理机制，根据模型的种类、规格、来源、用途等建立一个清晰的管理清单，确保在业务活动过程中相关资产的安全性和合规性；
• 模型中心从华为自身的场景实践和内外部生态的汇聚，提供了针对模型场景的自动化评测框架，难度在于缺乏B端企业生产场景的数据，需要用企业自身的相关知识和评估方法去完成，目前有两种方法来判定评测生成的结果，一是基于一个评判的模型，即AI评判AI的自动化方式，二是引入相关专家的经验和知识，由专家来标注或者判定结果，两者结合来给出最终评判结果；
• 当推理的算力集群或模型本身发生故障时，提供了模型Failover机制，后端实现自动切换，前端业务场景无感知，不影响上层业务应用；
• 在模型中心网关节点通道上，对输入输出的内容进行合规过滤和监测，同时监控模型推理的性能，提供全面的关于后端的客观性度量和跟踪机制。

2.知识中心：通过提示词工程、模型检索增强生成RAG工程、Agent工程等来提升模型场景效果并持续迭代优化。

• 高质量提示词输出难度大，目前有两种解决思路，一是总结一些场景的优秀实践形成提示词模板可供直接使用，二是用AI的方式对用户输入的内容进行改写、扩写，把模糊性、片段性的内容转换成相对较精确、描述结构较完整的提示词，提升模型推理能力，并根据生成结果的反馈来判断应用效果，持续迭代和优化提示词模板；
• 将业务经验和知识的文档类资产导入到平台里，转变成模型能够理解和消费的知识，并提供知识数据的加工、标注处理、生成的功能；
• 训练过程中可能出现数据不透明、过时、本身质量差、存在事实性错误等问题，通常使用模型检索增强生成RAG的方式来完成增强，它是一个程序化、工程化的实现，包括了对查询输入意图的理解、改写、转写和对后端不同知识库的查询编排，可以通过串接传统搜索、数据库、知识库等相关内容的融合检索来生成最终想要的结果；

• 根据前端交互界面生成结果的评测和反馈，来优化知识库内容、模型训练数据和对模型调优。

3.Agent编排：基于模型之上有效地连接既有的业务能力、数据、其他不同的第三方模型等，来实现复杂的业务活动。

• 大模型在推理能力上的局限性导致无法解决比较复杂的任务和场景，在目前的Agent开发过程中，都采用了流编排或流引擎技术，这是通过一种预定义的方式，预先完成对业务的拆解，来实现有效调度和协同；
• 华为云AI原生应用引擎支持0码方式实现Agent编排和SDK方式来串接不同的模型或AI Agent完成高码编排，提供了丰富的场景、强大的流处理引擎和相关处理机制、对千万级Agent调度协同的管理能力和基于函数编程、代码执行的相关能力，高效利用资源，处理灵活方便；
• 在南向和北向上提供了两层API封装的定义，便于在南向对接业界各种不同的大小模型，在北向开放接口，使能开发者基于AI原生应用引擎平台完成对存量应用的改造和重塑，或新形态应用的开发，来实现北向生态的繁荣。

4.AI可信治理：通过平台化build-in的安全机制和能力，保证模型生成内容结果的可靠性和数据资产、模型资产的安全性等。

• 基于华为内部的实践经验，内置了全流程可信的工具方法，根据不同的角色和权限定义，保护数据、知识库、Agent应用以及相关业务；
• 传统应用的输出结果都是确定的，在一定程度上是可信的，而AI应用生成的结果比较灵活，有一定的风险，需要采取隔离措施来保证这两者之间安全合规的集成和调用。

5.AI资产库：开发活动中沉淀和积累的场景模型、数据、知识、提示词、Agent、业务活动资产等，都可以放到资产库里，来实现最大范围内的复用，有效提升后续开发的效率和质量。

• 资产中心内置了行业伙伴和行业实践相关的数据资产，API Hub里预封装了行业能力的API资产，比如卡车物流、天气查询、打车等生产生活中常见的场景API Kit，方便被大模型或Agent调用；
• 基于大模型的AI原生资产，包括Agent开发模板、场景模型、知识资产等，帮助开发者降低开发难度和复杂度，来快速完成应用创新。

赋能开发者完成AI原生应用的快速创新

● AI原生应用构建模式一：Agent分钟级构建，一站式、顾问式快速构建Agent应用

基于大模型的智能系统，提供专家顾问的方式来引导推荐生成智能应用，即Agent应用的一站式/分钟级构建能力，只需在平台描述业务诉求、业务场景，剩下的应用生成的工作交给平台，无论是数据、工具调用、知识库挂载、提示词模板等相关内容，都可以通过AI的方式来智能化、自动化地生成，有效降低智能应用的开发难度或复杂度，这就是“Agent for Agent”。

● AI原生应用构建模式二：基于工作流构建

针对特别复杂的任务或企业内部涉及到大量跟存量系统之间的集成工作，必不可少会使用工作流编排方式，工作流里面提供了比较丰富的节点能力，可以串接大小模型节点、逻辑控制节点等等，支持调用外部工具或AI应用，实现不同的功能。

码上申请公测

免费体验0代码创建智能应用

▼▼▼

AI原生应用引擎，使能千行万业AI原生应用创新

● AI智能导诊：助力医患沟通，辅助医生诊疗，让优质资源惠及大众

在医疗行业，Agent应用在一定程度上可以扮演专家顾问的角色，在就诊前为患者提供咨询服务，在完成基础检查后解读检查结果，另外，在就诊过程中，可以辅助医生完成患者病例、治疗结果等内容的生成，通过专业模型提供专业诊断建议，以及就诊后的管理、问题解答等，以缓解医疗资源有限的局面，而在这个过程中所积累的资产和数据，还可以反向提供给医院用于教学活动、培养实习生。

● AI智能客服：AI专家7*24小时在线服务，智能快速排障

AGV智能搬运机器人是在制造行业被大规模使用的一种设备，不可避免地会出现一些故障，过去处理过程繁复，现在用AI方式，可以通过采集现场设备信息和用户前端上报来对故障问题做预判，基于后端智能客服的AI程序来回答用户的问题、辅助诊断、提供解决方案，如果无法解决，再安排工程师去现场，并把相关的案例整理成重复使用的知识库案例，来应用到后续的环节中去，提升诊断效率。从智能客服的完整流程来看，在每个环节都涉及到对AI的有效使用，比如智能问答、语音交互、日志解析、前端感知、数字孪生系统对接、向前端设备下发指令、历史对话接口管理等，帮助AGV客户和厂商管理人员完成故障处理。

合作共赢，加速千行万业的智能化升级

华为是技术供应商，提供算力底座、生态底座、人才培训底座，但最终要完成对行业的AI重塑或AI化改造，则依赖广大开发者和生态伙伴，华为云开天aPaaS提供三个使能：
商业使能

与开发者和ISV伙伴实现能力共建、商机共享；

技术使能

华为内部有大量AI原生应用开发的工程方法和最佳实践总结，可以提供专业服务；

生态使能

华为云有非常广泛的生态能力和工具，可以帮助开发者和ISV伙伴在华云上生长和壮大。

【直播Q&A】https://bbs.huaweicloud.com/forum/thread-0229167394046480019-1-1.html

【视频回看】https://bbs.huaweicloud.com/live/DTT_live/202411131630.html