行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
结论:现有资料只能确认 Gen4P 具备“无需迭代去噪、单次编码即可从单目视频恢复 4D 几何与运动”这一能力,但资料没有披露具体的解码机制细节。 资料中可确认的部分:
关于“具体如何解码”的说明: 现有资料不足以回答解码器的内部结构问题,例如:单次编码后如何映射到 4D 表示、采用何种输出头或表征(点图、深度图、位姿参数化等)、时空采样在解码阶段如何实现、训练监督信号如何构造。资料仅给出“前馈式”“单次编码”“无需迭代去噪”这三个高层描述1,未涉及网络结构、损失函数或推理流程的任何细节。 如需进一步确认,建议直接查阅该论文原文(arXiv / Hugging Face Papers 页面)的方法章节1。