Gen4P 用视频生成器实现单目4D感知

我们提出 Gen4P，一个从单目视频中恢复 4D 几何与运动的统一框架。我们表明，预训练的视频生成器可以被改造为前馈 4D 感知器，而无需迭代去噪。基于按需查询（on-demand querying），Gen4P 在单次编码器前向传播中处理干净的视频 latent，并通过轻量级交叉注意力解码器预测所请求的 4D 属性。按需查询的表述方式支持灵活的空间采样，而我们提出的连续时间查询进一步提供了时间上的灵活性。为增强几何知识，我们提出一种直接的插件式方案，将预训练的视频深度 LoRA 作为冻结的几何先验引入，在不增加额外可训练参数的情况下提升整体性能。Gen4P 在 3D 点跟踪、视频深度和相机位姿估计任务上取得了 SOTA 或具有竞争力的性能。在野外视频上的定性结果展示了其在跟踪复杂运动的同时保持精细结构的能力。这些结果共同展示了视频生成式预训练在统一 4D 感知方面的潜力。更多可视化结果见 https://gen4p.github.io。