未来已来：LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推荐

1.LLMops 是当前 AI infra 必争新标地

• 行业格局：AI infra 蓬勃发展，359 个应用总估值 13T，融资 $29.8B，从 DevOps->MLOps->LLMOps 演进； LLMOps 是 all-in-one 的大模型原生应用的开发和运营新范式。它强调从软件开发流水线到 “创意工作室”，多角色协同工作和快速市场反馈，以实现数据飞轮和业务成功。与传统 DevOps 相比，LLMOps 更注重业务、运营和销售等多方面的协同，确保大型 AI 模型在实际应用中的高效、可扩展和安全性。

• 复杂应用开发是趋势：模型与应用加速分离，模型竞争是超头部化的，应用落地优势在独特场景和稀缺数据 / 知识上，解决越好越有壁垒，越不会被基础模型折叠

• 只有能力全面架构先进的 LLMOps 才能满足复杂应用落地要求：从宏观的角度来看，所有 XOps 本质上是为了开发部署生命周期的提效。大模型的 AI 应用需要需要结合业务、运营和销售等多方面经验，多角色协同要有快速反馈，重点除了开发运维还有运营。

• LLMOps 业务新范式，带动组织增质提效：

  1. now：专人专岗，工业化流水线

  

  2. after：多角色实时协同，“创意” 工作坊

  

2.面临难度和解法（行业模式）

难度高：

1. 以终为始，agent-as-a-service，用 AI 重塑工作流实现落地难点高，存在诸多例如技术选型、GPU 资源、RAG 能力、策略调度、API 和业务系统集成等需要解决的共性问题，需要做集中建设
   • 策略架构选型：multi-agent 实现如何实现复杂流程自主推理和执行精确性
   • 服务化颗粒度：tool / 插件 / action、tool api 质量和丰富度
   • 高质量知识构建
   • RAG&re-act* 自主性和飞轮

2.面向未来，大模型是 AI 民主化革命，如何定义和建设一套 AI-native 工作流产品需要集中建设，不仅仅做 AI-enhanced 产品，只提供 “更快的马”。LLM 应用落地核心原则是普惠和普及，让开发者、业务专家、客户等泛 AI 人群都能参与到 LLM 应用创新和落地中，真正落地 AI 民主化个性化的价值。这也意味着一个 AI 平台背后用户需求和用户群体极其多样性；因此在 UI 体验灵活性、功能可拓展性和开放性的三个产品维度弹性非常大，产品难度高。

• for pro：充分熟悉业务场景，基本掌握策略效果调优的人。加速策略调优的模块化能力；细节开放的灵活度
• for dev：底层控制能力的灵活性和可拓展性，全流程开发过程的支持
• for C 类：易用性和直观性

行业内主要模式

1. RAG+REACT 的超级自动化是垂类 agent 应用的核心路径：流程自动化（多系统协同）**使得大语言模型将算力和数据转化为智力，AI Agent 将专家知识转化为自动化能力 **

2. 何为 AI-native 工作流？？面向未来的设计是什么如何落地

agent 就是 AI-native 工作流，核心是以流程为中心的对任务的规划和执行；模型选择、预置提示词、多轮对话配置应该包含在流程中而不是流程作为一个涉及复杂配置时才使用的插件和补充项；核心是一套图灵完备的流程调度的机制并对其中每个节点的状态充分可观测（保证在一个流程配置页面中可以搞定所有事情，而不是为了看起来的简单使用在页面中多个地方进行跳转）

3.LLM开源框架总结

更多Agengt框架详细解读见文章：

• AI Agent技术的最新进展与改变世界的典型项目巡礼

• 从众中取优：开源Agent市场深度调研，近20款主流开源Agent框架的技术亮点与适用场景深度剖析

• 百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索

3.1 主流的Agent框架

智能体的英文名是 Agent，是指基于大语言模型有能力主动思考和行动的智能实体，并具有以下特点：

• 主动思考与行动的能力：智能体不仅能被动地响应指令，而且能够主动进行思考和决策。

• 感知和理解需求：智能体能够理解用户的需求，这通常涉及到对自然语言的理解。

• 拆解目标和形成规划“：智能体能够将复杂的任务分解为更小、更可管理的步骤，并制定实现这些步骤的计划。

• 记忆能力：智能体拥有一定程度的记忆能力，能够存储和回忆先前的交互、知识和经验，以此来指导当前的决策和行为。

• 使用工具和 API：智能体能够利用各种外部工具和应用程序接口（API）来执行任务和访问信息。

• 决策和行动：最终，智能体能够基于以上过程做出决策并采取行动。

1. AutoGPT(161k stars)> https://github.com/Significant-Gravitas/AutoGPT

2. LangChain(82.7k stars)> https://github.com/langchain-ai/langchain

3. MetaGPT(39.1k stars)> https://github.com/geekan/MetaGPT

4. AutoGen(24.8k stars)> https://github.com/microsoft/autogen

5. dify(22.7k stars):> https://github.com/langgenius/dify

6. ChatDev(22.7k stars):> https://github.com/OpenBMB/ChatDev

7. BabyAGl(19.2k stars):> https://github.com/yoheinakajima/babyagi

8. SuperAGl(14.4k stars):> https://github.com/TransformerOptimus/SuperAG

9. FastGPT(12.5k stars)> https://github.com/labring/FastGPT

10. CrewAl(12.1k stars) https://github.com/joaomdmoura/crewAl

3.2 主流的RAG框架

1. LangChain(86k stars)https://github.com/langchain-ai/langchain/ 当之无愧的霸主，范围很全面，但代码

2. Quivr(33.4k stars) https://github.com/StanGirard/quivr

3. Llamalndex(32.1k stars) https://github.com/run-llama/llama_index/

4. Dify(31.2k stars) https://github.com/langgenius/dify

5. Langchain-Chatchat(28.5k stars) https://github.com/chatchat-space/Langchain-Chatchat

6. QAnything(9.7k stars) https://github.com/netease-youdao/QAnything， 特点是加入rerank，后期更新也加入了文档理解

7. danswer(9.5k stars) https://github.com/danswer-ai/danswer

8. RAGFlow(8.3k stars) https://github.com/infiniflow/ragflow 特点是前期处理文档理解

9. langchain4j(3.5k stars) https://github.com/langchain4j/langchain4j

10. Verba(4.3k stars) https://github.com/weaviate/Verba

4.LLMops推荐

4.1 阿里云百炼

官方链接：https://bailian.console.aliyun.com/?spm=a2c4g.11186623.0.0.791f3568k8CouN&accounttraceid=494cccbc11014cf1a6f54cba1bc77e68dsju#/home

阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。面向企业客户和个人开发者，提供完整的模型服务工具和全链路应用开发套件，预置丰富的能力插件，提供API及SDK等便捷的集成方式，高效完成大模型应用构建

大模型服务平台百炼是一站式的企业专属大模型生产平台，基于通义基础大模型，提供企业专属大模型开发和应用的整套工具链。

• 面向对象：企业、开发者及ISV的技术人员。

• 核心能力：支持开箱即用的应用调用，大模型训练微调和一站式在线灵活部署。

• 服务形式：通过API服务输出给客户，方便客户进行集成和使用专属大模型能力。

• 应用编排：支持客户打通自己的业务能力API，使得客户可以将专属大模型能力集成到自己的业务链路中。

• 工具多样：系统内置插件能力，支持Python解释器、夸克搜索、图片生成、计算器等，更方便客户一键使用；同时也可以通过自定义插件实现工具能力更加便捷。

更多内容参考链接：

https://help.aliyun.com/zh/model-studio/getting-started/alibaba-cloud-model-studio-quick-start

https://www.aliyun.com/product/bailian?utm_content=se_1017009305

4.2 通义modelscope

官网：https://www.modelscope.cn/my/overview

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

• 丰富的预训练SOTA模型：覆盖NLP、CV、Audio等多领域的具有竞争力的SOTA模型，更有行业领先的多模态大模型，全部免费开放下载以及使用。

• 多元开放的数据集：汇集行业和学术热门的公开数据集，更有阿里巴巴集团贡献的专业领域数据集等你来探索。

• 一行代码使用模型推理能力：提供基于模型的本地推理接口，以及线上模型推理预测服务，方便开发者快速验证与使用。

• 十行代码快速构建专属行业模型：十几行代码实现对预训练模型的微调训练（finetune），方便开发者基于行业数据集快速构建专属行业模型。

• 即开即用的在线开发平台：一键开启在线Notebook实训平台，集成官方镜像免除环境安装困扰，链接澎湃云端算力，体验便捷的交互式编程。

• 灵活的模型框架与部署方式：兼容主流AI框架，更好地实现模型迁移；多种模型训练与服务部署方式，提供更多自主可控的选择。

4.2.1 ModelScope-Agent:

基于开源大语言模型的可定制Agent系统：https://github.com/modelscope/modelscope-agent/blob/master

Modelscope-Agent是一个可定制的、可扩展的Agent代码框架。单Agent具有角色扮演、LLM调用、工具使用、规划、记忆等能力。 主要具有以下特点：

• 简单的Agent实现流程：仅需指定角色描述、LLM名称、工具名列表，即可实现一个Agent应用，框架内部自动实现工具使用、规划、记忆等工作流的编排。
• 丰富的模型和工具：框架内置丰富的LLM接口，例如Dashscope和Modelscope模型接口，OpenAI模型接口等。内置丰富的工具，例如代码运行、天气查询、文生图、网页解析等，方便定制专属Agent。
• 统一的接口和高扩展性：框架具有清晰的工具、LLM注册机制，方便用户扩展能力更加丰富的Agent应用。
• 低耦合性：开发者可以方便的直接使用内置的工具、LLM、记忆等组件，而不需要绑定更上层的Agent。

4.2.2 AgentScope

AgentScope是一个创新的多智能体开发平台，旨在赋予开发人员使用大模型轻松构建多智能体应用的能力。

网址：https://github.com/modelscope/agentscope/blob/main

• 🤝 高易用： AgentScope专为开发人员设计，提供了丰富的组件, 全面的文档和广泛的兼容性。同时，AgentScope Workstation提供了在线拖拉拽编程和在线小助手(copilot)功能，帮助开发者迅速上手！

• ✅ 高鲁棒：支持自定义的容错控制和重试机制，以提高应用程序的稳定性。

• 🚀 分布式：支持以中心化的方式构建分布式多智能体应用程序。

4.2.3 具身智能（人形机器人）开源路线

相关链接：https://www.modelscope.cn/brand/view/embody?branch=0&tree=0

具身智能是指机器人能够在物理世界中自主地感知环境、做出决策、执行动作等。涉及的技术栈中，通过软件和算法开发应用从而无需昂贵或专门化的硬件，比较适合开源社区

• 具身智能 Agent框架
  具身智能的Agent框架能够支持环境感知、记忆能力、调用物理工具，以及执行任务。区别于现有的基于互联网的 agent 框架，机器人的 agent 框架需要处理多种传感器回传的环境信息，更丰富的动作与对话记忆，更复杂的 multi-agent 和工具调用的通信机制。以下是其关键组件：

  1. 感知器（Perception Module）
     此模块的目标是提供有关环境状态的实时信息，负责与外部世界交互的基础，通过视觉、听觉、触觉等传感器接收环境信息。这些信息包括了各种形式的图片、物体的像素坐标和三维坐标、SLAM 建立的地图和机器人的定位等。

  2. 记忆系统（Memory System）
     包括用于底层子任务执行的短期记忆（处理即时任务时的临时信息存储）和高层任务规划的长期记忆（存储技能、任务规则等）。这些记忆包括了各个身体模块（头、手、脚、相机等物理 agent）的任务下发与执行情况。

  3. 决策引擎（Decision Making Engine）
     决策引擎负责处理来自感知器的信息和记忆系统中的数据，用大模型和小模型联动进行决策。这个决策引擎包括了一个大模型的 multi-agent 系统，能够实现大语言模型、视觉语言模型、音视频语言模型之间的协同配合。同时还能与头、手、脚等物理 agent 之间通信。

  4. 执行器（Actuator Module）
     执行器需要与大模型配合进行动作规划，包括控制机械臂、双足或其他移动机制，以及调用激光雷达、相机等感知器，从而执行具体任务。执行器需要精确地响应决策引擎的指令，执行如拾取、移动、导航等操作。

  5. 通讯接口（Communication Interface）
     通讯接口允许AI agent与用户、其他AI系统或机器人进行交流。包括了与人类通讯的自然语言，并能够集成于聊天工具中（微信、钉钉）。同时还有与IoT物联网通讯所用的mqtt, http, websocket的通讯协议等。以及通过 ROS(机器人操作系统）消息，与各个身体模块的通信机制。

• 具身实现：分为上层任务规划和下层技能实现两个层级。

  1. 上层任务规划：从任务级到技能级
     利用预训练的大模型作为核心组件，理解接收到的任务指令和环境信息，生成抽象的任务计划或策略。将高层任务计划转化为一系列具体的子任务或技能需求，并通过优先级排序和资源调度机制，指导机器人有序执行。
  2. 下层技能实现：从技能级到动作级
     小模型与函数调用：针对特定技能（如抓取、行走、导航等），开发或集成专门的小模型或工具库，这些模块应具有高效、精确的运动控制能力，并能与大模型对接。

• 清华大学、中南大学的项目：LEGENT
  用于开发使用 LLM 和 LMM 的具身智能体。LEGENT 提供了一种双重方法：一个具有可交流和可操作智能体的丰富交互式 3D 环境，搭配一个用户友好型界面，以及一个利用先进算法的复杂数据生成管道，实现大规模利用来自模拟世界的监督。实验结果显示，根据 LEGENT 生成的数据训练的视觉-语言-行动模型的雏形，在具身任务中超越了 GPT-4V，展示了良好的泛化能力。

  • 论文链接：https://arxiv.org/abs/2404.18243
  • GitHub 地址：https://github.com/thunlp/LEGENT

• HF 开源的机器人项目：LeRobot
  LeRobot 工具包不仅仅是一个软件包，而且是一个全面的平台，包括用于共享、可视化数据和训练 SOTA 模型的多功能库。用户可以通过 LeRobot 访问大量预训练模型，以快速启动他们的项目。此外，LeRobot 与物理模拟器无缝集成，这允许没有物理机器人硬件的爱好者和开发者在虚拟环境中模拟和测试他们的 AI 模型。在硬件方面，LeRobot 旨在处理各种机器人硬件：「从教育和研究中使用的简单机械臂到先进 AI 研究设施中更复杂的类人机器人。」总的来说，LeRobot 项目的目标是提供一个能够适应和控制任何形态机器人的 AI 系统，使机器人在多功能性和可扩展性方面得到增强。

  • Github 链接：https://github.com/huggingface/lerobot

• ROS（Robot Operating System）
  ROS是一个开源的机器人操作系统，它提供了一系列工具、库和软件包，用于构建和控制各种类型的机器人。ROS已经成为机器人领域最常用的开源平台之一，并且有着庞大的开发者社区支持，不断推动其更新和改进。

  • github地址：https://github.com/ros-industrial/universal_robot

• Poppy Project
  Poppy Project是一个开源的机器人项目，旨在创建一系列可定制的人形机器人。该项目的目标是提供一个开放和易于使用的平台，使人们能够以低成本和可定制的方式构建自己的机器人。Poppy Project的进展一直在不断地推进，并吸引了全球范围内的开发者和研究人员的关注。

  • github地址：https://github.com/poppy-project

• TurtleBot
  TurtleBot是一个基于ROS的开源机器人项目，它是一个低成本、可定制的移动机器人平台。TurtleBot的目标是为机器人爱好者、研究人员和教育者提供一个入门级的机器人平台。TurtleBot已经推出了几个版本，并且在教育和研究领域有着广泛的应用。

  • github地址：https://github.com/ROBOTIS-GIT/turtlebot3

• Stanford大学的开源遥控机械臂项目：ALOHA
  A low-cost, open-source, mobile manipulator！2024 开年就迎来了重大更新，可移动的 Mobile ALOHA 在人类遥控中通过神经网络学习双手操作的日常行为，例如炒菜、做清洁、操作冰箱、电梯、咖啡机等等，只需要 50 次人类操作演示就能学会并重现。

  • github地址：https://mobile-aloha.github.io

4.3 百度千帆（含AppBuilder）

百度智能云千帆大模型平台（以下简称千帆或千帆大模型平台）是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，方便客户轻松使用和开发大模型应用。支持数据管理、自动化模型SFT以及推理服务云端部署的一站式大模型定制服务，助力各行业的生成式AI应用需求落地。

• 基础强大、知识丰富：千帆大模型平台基于百度智能云，采用飞桨深度学习框架作为底层支撑，并内置大模型技术。用户通过少量数据调整，可轻松获得高精度和高性能的大模型。

• 流程完善、发布便捷：提供一站式服务，涵盖数据集管理、模型训练、服务发布与监管。通过可视化界面实现模型全生命周期管理，简化从数据到服务的大模型实施过程，易于上手与理解。

• 运行稳定、共建生态：千帆大模型平台具备完整技术栈、长期稳定的模型开发引擎以及卓越性能。平台低技术门槛，适合各行各业接入，助力完成行业大模型的开发建设。

• 安全可靠、一键启用：千帆大模型平台提供文心一言企业级服务，结合百度智能云安全控制机制及文心底层内容安全功能，对推理内容进行审核与敏感词过滤，确保安全可信。

官方网站：https://qianfan.cloud.baidu.com/?track=33dcf5d1abd0f1309604ab9c20431a1042e54d059042bac8

AppBuilder相关链接：https://appbuilder.baidu.com/s/8nvw5VpG

4.4 文心智能体平台（灵境）

文心智能体平台AgentBuilder 是百度推出的基于文心大模型的智能体（Agent）平台，支持广大开发者根据自身行业领域、应用场景，选取不同类型的开发方式，打造大模型时代的产品能力。开发者可以通过 prompt 编排的方式低成本开发智能体（Agent），同时，文心智能体平台还将为智能体（Agent）开发者提供相应的流量分发路径，完成商业闭环。

官网：https://agents.baidu.com/center

• 强大的大模型能力： 依托文心一言大模型，在内容创作、数理逻辑推算、中文理解、多模态生成等多方面均有良好表现；

• 多样化的方式链接用户：开发者可选取不同类型的开发方式、模板组件等进行接入，包括零代码/低代码智能体、数据类/能力类插件，为 C 端用户提供更加优质服务；

• 多场景触达用户：传统搜索 & AI搜索双引擎分发；文心一言 App 内调用插件；智能体&插件可进入体验中心，对 C 端用户分发的同时也面向企业级开发者。

• 智能体类型

  • 零代码智能体： 通过 prompt 编辑的方式，表达意图、提供行为说明，引入数据集、工具等能力，创建智能体。

  • 低代码智能体： 通过拖拽方式快捷搭建业务流，结合大模型、数据集、工具等组件，完成智能体开发。

4.5 字节Coze AI

官网：https://www.coze.cn/home

扣子是新一代 AI 应用开发平台。无论你是否有编程基础，都可以在扣子上快速搭建基于大模型的各类 Bot，并将 Bot 发布到各个社交平台、通讯软件或部署到网站等其他渠道。

功能与优势

1. 无限拓展的能力集
   扣子集成了丰富的插件工具，可以极大地拓展 Bot 的能力边界。
   • 内置插件：目前平台已经集成了近百款各类型的插件，包括资讯阅读、旅游出行、效率办公、图片理解等 API 及多模态模型。 你可以直接将这些插件添加到 Bot 中，丰富 Bot 能力。例如使用新闻插件，打造一个可以播报最新时事新闻的 AI 新闻播音员。
   • 自定义插件：扣子平台也支持创建自定义插件。 你可以将已有的 API 能力通过参数配置的方式快速创建一个插件让 Bot 调用。
2. 丰富的数据源
   扣子提供了简单易用的知识库功能来管理和存储数据，支持 Bot 与你自己的数据进行交互。无论是内容量巨大的本地文件还是某个网站的实时信息，都可以上传到知识库中。这样，Bot 就可以使用知识库中的内容回答问题了。
   • 内容格式：知识库支持添加文本格式、表格格式、照片格式的数据。
   • 内容上传： 知识库支持 TXT 等本地文件、在线网页数据、Notion 页面及数据库、API JSON 等多种数据源，你也可以直接在知识库内添加自定义数据。
3. 持久化的记忆能力
   扣子提供了方便 AI 交互的数据库记忆能力，可持久记住用户对话的重要参数或内容。
   例如，创建一个数据库来记录阅读笔记，包括书名、阅读进度和个人注释。有了数据库，Bot 就可以通过查询数据库中的数据来提供更准确的答案。
4. 灵活的工作流设计
   扣子的工作流功能可以用来处理逻辑复杂，且有较高稳定性要求的任务流。扣子提供了大量灵活可组合的节点包括大语言模型 LLM、自定义代码、判断逻辑等，无论你是否有编程基础，都可以通过拖拉拽的方式快速搭建一个工作流，例如：
   • 创建一个搜集电影评论的工作流，快速查看一部最新电影的评论与评分。
   • 创建一个撰写行业研究报告的工作流，让 Bot 写一份 20 页的报告。

4.6 Dify AI

生成式 AI 应用创新引擎：开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

官方网址：https://difyai.com/
github：https://github.com/langgenius/dify

• Dify 能做什么

  1. 创业：快速的将你的 AI 应用创意变成现实，无论成功和失败都需要加速。在真实世界，已经有几十个团队通过 Dify 构建 MVP（最小可用产品）获得投资，或通过 POC（概念验证）赢得了客户的订单。

  2. 将 LLM 集成至已有业务：通过引入 LLM 增强现有应用的能力，接入 Dify 的 RESTful API 从而实现 Prompt 与业务代码的解耦，在 Dify 的管理界面是跟踪数据、成本和用量，持续改进应用效果。

  3. 作为企业级 LLM 基础设施：一些银行和大型互联网公司正在将 Dify 部署为企业内的 LLM 网关，加速 GenAI 技术在企业内的推广，并实现中心化的监管。

  4. 探索 LLM 的能力边界：即使你是一个技术爱好者，通过 Dify 也可以轻松的实践 Prompt 工程和 Agent 技术，在 GPTs 推出以前就已经有超过 60,000 开发者在 Dify 上创建了自己的第一个应用。

更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。

更多优质内容请关注CSDN：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。