EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos
中文摘要
由模型生成 · 人工抽检EgoJEPA 提出三阶段框架，从第一视角人类视频中学习与具体机器人本体无关的潜在动作表示，绕过传统重定向的几何映射。它通过 JEPA 式视觉预测预训练、潜在动作世界模型和轻量适配器迁移到不同机器人。在五个真实操作任务上平均成功率 74%，优于重定向基线 65%，跨本体总耗时降低 47.2%。
全文
已译中文arXiv:2610.20904v1 公告类型：新
摘要：第一人称人类视频为昂贵的机器人演示提供了一种可扩展的替代方案，但将其操作先验迁移到机器人控制仍然具有挑战性。常用的基于重定向（retargeting）的方法通过手工设计的几何映射，将人类手腕和手指姿态转换为特定具身（embodiment）的动作指令。然而，此类映射需要在不同具身之间进行细致的重新校准，并且存在将手部跟踪误差传播到下游机器人控制流水线的风险。为此，我们提出 EgoJEPA，一个三阶段框架，无需基于规则的人到机器人重定向，即可从第一人称人类视频中学习具身无关的表示：1）人类动作预训练通过以手部运动差异为条件的 JEPA 风格视觉预测，学习效果感知的潜在动作；2）基于潜在动作的世界建模联合预测未来视觉动态与潜在动作，从而将人类先验预训练与机器人特定的控制参数化解耦；3）具身特定调优通过轻量级动作适配器将预训练模型适配到多种机器人。在三种机器人具身上的五项真实世界操作任务上的实验证明了 EgoJEPA 的有效性与高效性。在域外评估中，它取得了 74% 的平均成功率，而重定向基线为 65%，同时将累计跨具身挂钟成本降低了 47.2%，从 743.2 小时降至 392.7 小时。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。