行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
现有资料不足以回答该问题。 资料1只提供了 Gen4P 的总体框架描述:它把预训练视频生成器改造成前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样1。但资料中没有提及任何具体模块层面的改造细节,包括:
因此无法确认“具体替换或保留了哪些模块”。可确认的仅有:改造后的系统是前馈式、单次编码、无迭代去噪1,这与原始视频生成器通常依赖多步去噪采样的工作方式形成对比,但资料未说明这一变化是通过哪些模块替换实现的。 建议查阅原论文(https://huggingface.co/papers/2610.22371)的方法章节获取模块级细节。