【编译】BotPsy:面向端侧工具调用的8亿参数智能体模型

举报
L2 发表于 2026/11/16 04:39:41 2026/11/16
【摘要】 BotPsy 是一个基于 Qwen3.5-0.8B 构建、面向端侧部署的智能体模型,重点优化函数调用与工具协作。本文梳理其应用定位、四阶段后训练方案及端侧隐私价值,并说明小参数模型的能力边界:它适合低至中等难度的日常任务,不应替代高风险场景中的审慎判断。
## 一、为什么需要端侧智能体 依赖云端前沿大模型并非没有代价。服务费用可能较高且难以预测;模型提供方也可能随时调整服务、限制访问或停止提供能力。闭源服务通常难以针对特定工作流充分定制,同时会带来数据隐私、控制权与透明度方面的顾虑。更重要的是,许多日常任务并不需要前沿模型的全部能力:若工作负载规模有限,专用小模型可以在本地高效完成任务,降低运行成本,也减少对外部服务的依赖。 随着单位参数所能承载的智能持续提升,端侧模型正逐渐具备承担具体任务的条件。Tether AI Research 推出的 BotPsy,正是面向这一方向的尝试:它基于 Qwen3.5-0.8B 构建,拥有约 8 亿参数,重点针对函数调用与智能体工作流进行训练,目标是在可部署于设备本地的规模下,提升工具使用能力与指令遵循可靠性。 ## 二、BotPsy 的任务定位 BotPsy 被设计为个人助理,能够通过调用工具处理多类简单任务,覆盖网页搜索与资料研究、旅行与生活服务、商业与金融、业务及客户运营、设备与车辆控制、文件与文档、日历,以及电子邮件和消息等场景。它的关键并非单纯生成更长或更流畅的文本,而是根据用户需求判断是否需要工具、选择合适的调用方式,并在多轮交互中推进任务。 官方介绍称,在其测试的参数量不超过 12 亿的模型中,BotPsy 在工具使用与智能体表现方面达到当时的领先水平。这个结论应理解为特定测试与比较范围内的结果,不能直接推导为它在所有语言任务或复杂推理任务上都优于更大模型。由于参数规模较小,BotPsy 更适合低至中等难度的工作;模型仍可能出错,不适用于医疗、法律、金融决策等高风险用途,也不应在缺少验证的情况下执行重要操作。 ## 三、四阶段后训练:从示范到可验证奖励 BotPsy 以 Qwen3.5-0.8B 为基础,采用逐阶段后训练流程。每一阶段以前一阶段表现较好的检查点作为起点,使模型能力在已有结果上持续累积。整体方法包含监督微调(SFT)、多教师在线策略蒸馏(MOPD),以及两轮强化学习(RL);所利用的学习信号可概括为示范轨迹、专业教师模型信号和规则化奖励。 ### 1. 监督微调:学习工具使用示范 第一阶段进行全参数监督微调,训练数据包括工具使用对话和多轮智能体轨迹。材料涵盖模拟环境中的任务轨迹、单次调用、并行调用与多步调用,也包含不应调用工具的情形。 这一阶段为模型建立工具使用的基本行为模式。除了学习如何组织调用参数,模型还需要从示范中分辨任务边界:哪些请求可以直接回答,哪些需要检索或执行工具,哪些情况下不调用工具反而更合适。将“应当调用”和“无需调用”的样例同时纳入训练,有助于减少无根据的工具调用,并让后续训练建立在较稳定的基础策略之上。 ### 2. 多教师在线策略蒸馏:在模型自己的轨迹上学习 第二阶段采用在线策略蒸馏(OPD)。与单纯模仿固定数据集中的答案不同,学生模型先生成自己的响应,再利用更强教师模型提供的学习信号进行训练。原文将这一阶段称为多教师在线策略蒸馏(MOPD),并指出训练会利用大型教师模型的 token 分布。 这种设计的重点在于让教师信号与学生当前策略产生的内容相结合:模型学习的对象不只是预先给定的标准轨迹,也包括自身实际生成的输出。对于工具调用任务,这有助于把教师模型提供的行为偏好传递给较小的学生模型。不过,现有材料没有给出教师模型数量、蒸馏目标的具体公式或各教师的分工,因此不宜据此推断更细的实现细节。 ### 3. 两轮强化学习:以工具调用规则提供反馈 后续训练包含两轮强化学习,使用基于规则的工具调用奖励。与示范学习相比,规则化奖励可以直接针对可验证的行为结果提供反馈,例如工具调用是否符合预期规则。它为模型提供了不同于文本模仿的优化信号,目标是进一步改善实际执行工具任务时的行为。 原文片段未披露奖励函数、采样策略、两轮强化学习之间的具体差异或评测细节,因此这里只能确认其训练信号属于规则驱动的工具调用奖励。整体上,四阶段流程体现出一种递进思路:先通过示范建立基本能力,再借助教师分布扩展学习信号,最后使用可验证奖励对工具行为进行强化。 ## 四、端侧运行的价值与边界 将模型部署在设备本地,可以减少日常任务对云端推理服务的依赖,有助于降低网络往返与持续调用带来的成本,并让用户对数据处理位置拥有更直接的控制。对于包含个人消息、文件、日程或本地设备操作的工作流,这种部署形态尤其值得关注。但“端侧”并不自动等同于绝对安全:设备安全、工具权限、日志管理和本地数据保护仍需由系统设计共同保障。 BotPsy 的后续方向也围绕本地智能体生态展开。官方提出将继续拓展其与更多硬件和本地服务的集成;Hypersearch 计划支持更稳健的去中心化点对点查询,以提供更注重隐私的加密网页搜索;QVAC Fabric 的本地微调机制则将面向用户偏好、工作流和专用工具环境进行优化。未来还设想让手机在离线与在线状态切换时,将较重的计算任务委托给家庭电脑或可信的点对点节点,并在可信本地网络中支持智能体间协作。 这些设想指向一个以用户控制为核心的个人 AI 系统,但仍属于后续发展方向,不能视为当前版本已经具备的能力。实际部署时,应为工具调用配置最小必要权限,对搜索、通信、文件修改和设备控制等操作设置确认与审计机制。模型规模小、响应快并不意味着输出始终正确;在重要任务中,仍需对结果进行验证。 ## 五、总结 BotPsy 展示了小参数模型在端侧工具使用领域的一种训练路线:以监督示范打底,通过在线策略蒸馏吸收大型教师模型的信号,再用规则化奖励强化可验证的工具行为。其价值在于为低至中等难度的个人助理任务提供更轻量、可本地部署的选择,而不是取代所有云端大模型或承担高风险决策。端侧智能体能否可靠落地,最终取决于模型能力、工具权限设计、隐私保护与结果校验机制的共同作用。 --- > 声明:本文系编译转载自国内外知名人工智能实验室公开技术成果,仅供国内开发者个人技术交流与学术学习。 > 原文机构:Hugging Face 官方技术专栏 > 原文标题:BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model > 原文链接:https://huggingface.co/blog/qvac/botpsy
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。