行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·4 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
现有资料不足以回答「单次编码具体如何从去噪网络中提取 4D 几何与运动表征」这一机制层面的问题。资料1只给出了框架级描述,没有披露具体的特征提取路径、网络层选择或表征解耦方式。 资料中能确认的部分:
也就是说,资料仅说明「单次编码替代迭代去噪」这一结果性特征,未说明编码器如何接入去噪网络、4D 几何与运动表征以何种形式(如特征图、token、隐变量)被读出。若需机制细节,建议查阅论文原文的方法章节。