行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
结论:现有资料不足以确定 Gen4P 的 4D 表示具体采用哪种形式(点云、深度+位姿,还是时空特征场)。 资料中能确认的相关信息只有以下几点:
从上述任务组合看,输出同时涉及点级跟踪、深度与位姿,但摘要并未说明这些输出是统一在点云、深度+位姿组合,还是某种时空特征场中表达,也未给出表示的具体定义或中间变量形式1。因此,关于“具体是什么形式”这一问题,资料中没有可引用的依据,不宜推测。 建议直接查阅论文原文的方法章节(链接见 1)以确认表示形式。