Spark-0 用触觉预训练提升机器人灵巧操作
Spark-0 是空间对齐的视觉-触觉-语言-动作模型,预训练时用触觉手套接触图与 3D 几何教师监督视觉 token,推理时可去掉;同时发布 1000 小时 HumanTouch 数据集与 SparkArena 基准。保留触觉监督使纯视觉成功率从 52.5% 升至 71.7%,说明触觉可作为可扩展的预训练监督信号。
每日自动追踪全球权威信源,模型生成中文摘要与有效期判断,人工抽检把关。 不追热点,只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向,每个领域独立成脉
共 7 条符合条件
Spark-0 是空间对齐的视觉-触觉-语言-动作模型,预训练时用触觉手套接触图与 3D 几何教师监督视觉 token,推理时可去掉;同时发布 1000 小时 HumanTouch 数据集与 SparkArena 基准。保留触觉监督使纯视觉成功率从 52.5% 升至 71.7%,说明触觉可作为可扩展的预训练监督信号。
CoDA让生成式仿真数据引擎与机器人动作策略通过共享异构记忆协同进化,用视觉语言评论器诊断策略失败并生成针对性训练程序,配合Text2potential提供稠密监督。在四类操作任务上分布外成功率从5.3%提升至27.6%,LIBERO-Pro上位置扰动成功率由25%升至84%。
该论文将双系统VLA模型中慢模块的调用问题形式化为决策论问题,提出Value of Intervention统一框架,并给出无泄漏测量协议与调度编译方法,把慢模块触发从设计直觉变为可测量决策。
KODA 提出将人类第一视角 RGB 演示转换为类人机器人全身 VLA 训练数据的方法:用稀疏追踪与采样优化生成经仿真校验的规范全身轨迹,据此合成机器人视角观测,并为不同控制器生成状态-动作监督。在 Unitree G1 四项任务上,机器人数据不变时未见条件成功率提升约 45 个百分点,降低了对昂贵机器人演示的依赖。
该论文研究视觉-语言-动作(VLA)策略内部表征的几何形状,通过线性探针与激活干预,对七个任务相关概念建立分类体系。发现概念几何多为多维且受物理约束塑造,如关节限位使腕部朝向呈弧而非圆,距离由粗/细两个正交子空间表示。该几何在多个模型与真实数据中复现,并可用于引导操控,表明概念形状与可读性同等重要。
该论文将视觉语言模型中的块稀疏特征化器(BSF)引入机器人视觉-语言-动作模型,恢复出感知、语言、本体状态、任务阶段等多维可解释特征,并通过细粒度干预实现可预测的动作控制,还能定位训练数据中不足1.4%的关键token以移除特定行为,为机器人策略的可解释性与数据治理提供新工具。
研究对三个前沿视觉-语言-动作(VLA)模型做机制性因果分析,发现动作专家仅通过中后段少量交叉注意力层(动作条件接口)接收关键信息,且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层,推理 FLOPs 降 33%,3000 次评测成功率基本持平,并已在真机部署验证。