行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
现有资料不足以回答「Gen4P 是否需要针对下游任务进行微调」这一问题。 资料 1 只提供了方法层面的描述,没有涉及训练/微调策略的细节:
从「达到领先水平」这一表述可以推测模型在这些任务上具备可用性能 1,但资料未说明这是零样本(zero-shot)结果,还是在各下游任务上做了微调或额外训练,也未提及是否冻结主干、是否使用任务特定头等。因此无法据此判断微调的必要性。