给机器人一双“有手感”的手:蚂蚁灵波开源触觉基础模型 LingBot-Touch

举报
why0603 发表于 2026/11/11 17:23:19 2026/11/11
【摘要】 引言视觉、语言、动作,这几年都有了自己的“基础模型”,唯独触觉一直缺席。原因不复杂:每家触觉传感器的通道数、排布、采样率都不一样,数据很难合在一起训练,所以触觉领域始终没有自己的“ImageNet 时刻”。11 月 9 日,蚂蚁集团旗下的具身智能公司灵波科技(Robbyant)开源了 LingBot-Touch,一个基于 JEPA 的触觉表征模型,试图用“先抹平传感器差异、再堆数据”的思路,...

引言

视觉、语言、动作,这几年都有了自己的“基础模型”,唯独触觉一直缺席。原因不复杂:每家触觉传感器的通道数、排布、采样率都不一样,数据很难合在一起训练,所以触觉领域始终没有自己的“ImageNet 时刻”。11 月 9 日,蚂蚁集团旗下的具身智能公司灵波科技(Robbyant)开源了 LingBot-Touch,一个基于 JEPA 的触觉表征模型,试图用“先抹平传感器差异、再堆数据”的思路,把这件事向前推一步。

先统一“坐标”,再谈预训练

触觉传感器主要有三条技术路线:压阻式靠材料受压后的电阻变化测压力分布;磁触觉靠软磁材料形变引起的磁场变化;视触觉靠内部摄像头观察弹性表面形变。三者测的都是“指尖与物体接触时发生了什么”,但信号形式天差地别。

LingBot-Touch 的做法是“多分支编码、共享主干”:

  • 规范几何接口:把不同传感器上的触点(taxel)统一映射到一套标准指尖坐标里,让同一个 Transformer 能知道“这个点在指尖的什么位置”。
  • 按模态分词:压阻、磁、视触觉各有专用 tokenizer,再汇入同一个共享的 Haptic Transformer(README 提到使用 5D RoPE 编码时空位置)。
  • JEPA 式训练:不重建原始信号,而是根据时空上下文,在隐空间里预测被遮挡部分的表征,目标由一个 EMA 目标编码器提供。这对触觉很合适——原始触觉信号噪声大、与硬件强相关,预测隐表征能避开这些细节,专注“接触的结构与时间变化”。

预训练语料来自人戴的触觉手套和遥操作的机器人手:官方页面给出 4,983 小时、约 13.3 亿帧、464,431 个交互片段,其中压阻 2,197 小时、磁 1,136 小时、视触觉 1,650 小时。开放的两个编码器很小:Tiny 仅 546 万参数(Small 约 2,176 万,据第三方整理),Apache-2.0 许可。

即插即用的“触觉 token”

LingBot-Touch 不是一个独立的策略,而是一个冻结的编码器:它把触觉信号变成带有时间、手指、空间地址的 token,接到现有的机器人策略里,只在后训练阶段加入。官方称在 Sharpa Wave 和 XHand 两种灵巧手上评测了 26 个真实任务(每个任务 20 次试验),另有 12 个仿真强化学习任务。

据 AGI Pulse 整理的论文数据,真机平均成功率的变化是:Diffusion Policy 21.6%→35.6%,π0.5 48.1%→69.9%,LingBot-VLA 48.3%→73.1%,新增参数不到 0.2%;仿真中 12 个任务的平均成功率为 69.0%,不用触觉时只有 21.4%。(这些数字为作者自测,暂无第三方复现。)

README 里有一条很实用的建议:读出特征时应该用基于注意力的查询(可学习 query 做 cross-attention),而不是对 token 做均值或最大池化——因为 JEPA 的 token 已经融合了周围时空上下文,按地址取 token 并不能隔离出某根手指或某一时刻的信息。

为什么值得关注

第一,跨传感器迁移。 官方称模型可以不经额外训练迁移到预训练中没见过的触觉传感器和灵巧手上。如果经得起复现,意味着今后换一种触觉硬件,不必从零收集数据。

第二,规模定律的苗头。 项目页展示,随着触觉预训练数据从 0 增长到约 5,000 小时,LingBot-VLA 的真机成功率持续提升——这是“触觉也能 scale”的早期证据。

第三,表示比传感器更重要。 据 AGI Pulse 的解读,直接把原始触觉信号喂给策略只能拿到部分收益,甚至有不少对比组合变差——说明关键不在“装了传感器”,而在“学到了好的表示”。

需要保持的冷静

这次公开的只有推理代码、冻结编码器和少量样例数据,5,000 小时语料与预训练代码都没有开放;主力下游策略也是自家的 LingBot-VLA;README 中的 BibTeX 也尚未补全。第三方能否在其他手和传感器上复现、数据与训练配方会不会开放,才是下一步的看点。

结语

LingBot-Touch 的价值不只是又一个机器人模型,而是给触觉这块“碎片化”的领域提供了一套可借鉴的范式:统一几何、分模态分词、共享主干、隐空间预测。当机器人开始“摸得懂”钥匙卡进锁孔的那一下手感,灵巧操作才真正有可能走出实验室

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。