T2-Z：机器人世界模型的环境隐变量测试时优化

预测世界如何对动作做出响应，所需的信息超出了可见范围：机器人必须考虑那些既无法直接观测、也未被明确指定的环境因素，从摩擦力和质量等物理属性，到人类定义的环境规则。我们提出 T2-Z，用于环境潜变量的测试时优化，它为机器人世界模型增加一个可学习的环境潜变量，以对世界预测进行条件化。这一紧凑的潜变量在没有任何关于存在哪些环境因素或其取值的监督下，捕捉潜在的环境变化。在训练过程中，T2-Z 在两个阶段之间交替：世界模型优化阶段，固定潜变量并学习跨环境的一般性动作条件动力学；以及环境潜变量优化阶段，冻结世界模型并优化条件潜变量，使潜变量结构纯粹通过世界预测而涌现。在测试时，世界模型保持冻结，新初始化的环境潜变量通过一次或多次测试时交互进行优化，使模型适应此前未见过的环境配置。在 7 个模拟设置和 4 个真实世界机器人任务中，T2-Z 将物体预测误差指标从 15.20 降至 7.00，并将动作成功率从 33.73% 提升至 72.96%。其涌现出的潜变量在多样化的视觉场景中捕捉到对单个因素与复合因素的结构化表示。消融实验进一步表明，T2-Z 能够仅从一条测试时交互轨迹中高效推断环境潜变量。