行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
结论:现有资料只能确认 Gen4P 的整体思路,即把预训练视频生成器改造成前馈式4D感知器,并实现单次编码、无需迭代去噪;但资料没有披露具体的改造机制(如网络结构改动、训练目标、特征如何解码为几何与运动),因此无法回答“如何改造”的技术细节。 资料中可确认的部分:
资料未覆盖的内容:具体改造步骤(例如是否复用扩散主干、如何接入几何/运动解码头、训练数据与损失设计、单次编码的具体形式)在现有资料中均未提及,因此无法给出可操作的流程或代码。 如需进一步确认,建议直接查阅论文原文:https://huggingface.co/papers/2610.22371 1