行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
现有资料不足以精确回答 Gen4P 单次前向输出的 4D 表示的具体形式(点云、深度+位姿还是轨迹场)。资料中能确认的部分如下:
从这些任务看,输出同时涉及几何(深度)、相机位姿和点级运动(3D 点跟踪),但摘要没有说明这些结果是作为独立头分别输出,还是统一为某种 4D 表示(如点云或轨迹场),也没有给出张量形状或字段定义1。因此无法据此判定具体形式,需要查阅论文正文的方法或输出表示章节。