行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
结论:现有资料只能确认 Gen4P 做到了「无需迭代去噪、单次编码即恢复 4D 几何与运动」,但没有披露具体解码机制。 资料中可确认的部分:
关于「如何解码」的具体设计,例如:编码器输出以什么形式表示几何与运动、4D 表示是显式点云还是隐式场、运动如何参数化、时空采样在解码端如何实现、是否复用生成器的中间特征或注意力层,这些内容现有资料不足以回答。摘要只给出了「前馈 + 单次编码」这一层面,未涉及解码器结构与监督方式。 建议直接查阅原文(Hugging Face Papers 条目 2610.22371)的方法章节以获取解码细节1。