行业
Gen4P 用视频生成器实现单目4D感知
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
行业落地·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Gen4P 提出统一框架,将预训练视频生成器改造为前馈式4D感知器,无需迭代去噪,单次编码即可从单目视频恢复4D几何与运动,并支持灵活时空采样。在3D点跟踪、视频深度和相机位姿估计上达到领先水平,展示了视频生成预训练用于统一4D感知的潜力。
现有资料不足以回答「Gen4P 单次编码的前馈设计对显存占用有什么影响」这一问题:资料1只说明了架构与任务层面的特性,没有给出任何显存占用的数据或分析。 资料1中能确认的相关部分:
也就是说,资料只支持「单次编码、无迭代去噪」这一计算流程描述,并未涉及该设计是否降低或增加显存占用、峰值显存是多少、与迭代式方法相比有何差异等具体信息。要回答显存问题,需要补充论文中的显存/效率实验或实现细节。