AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料只能给出高层框架层面的回答，不足以说明 Gen4P 具体如何把视频生成器改造成感知器（例如去掉了哪些模块、如何接入几何/运动解码头、训练目标如何设计等）。资料中能确认的部分如下：

总体思路：Gen4P 是一个统一框架，把预训练视频生成器改造为前馈式 4D 感知器1。
关键改造点（前馈化）：改造后的感知器无需迭代去噪，单次编码即可从单目视频中恢复 4D 几何与运动1。也就是说，它绕过了生成模型通常依赖的多步去噪采样流程，改为一次前向编码直接输出感知结果。
能力特性：支持灵活的时空采样1。
效果：在 3D 点跟踪、视频深度、相机位姿估计三项任务上达到领先水平，说明视频生成预训练可复用于统一的 4D 感知1。

关于“如何改造”的具体机制（网络结构改动、监督信号、是否保留扩散/流匹配头等），现有资料未涉及，无法进一步展开。

继续追问

1 条

AI 答案正在检索与综合…

1 条 · 点击可看原文全文与中文译文

行业

Gen4P 提出统一框架，将预训练视频生成器改造为前馈式4D感知器，无需迭代去噪，单次编码即可从单目视频恢复4D几何与运动，并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平，展示了视频生成预训练用于统一4D感知的潜力。

行业落地·Hugging Face Papers·5 天前