大模
推测强制加速自回归视频生成
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题,提出 Speculative Forcing 框架,将中间干净估计作为草稿,预测哪些 token 可提前接受并冻结,同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量,LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
大模型·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题,提出 Speculative Forcing 框架,将中间干净估计作为草稿,预测哪些 token 可提前接受并冻结,同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量,LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
现有资料不足以回答「草稿验证机制具体如何判定 token 接受或拒绝」这一核心问题——资料1只给出了框架层面的描述,没有披露判定规则、阈值或验证公式。 资料中能确认的部分:
也就是说,资料只说明「用中间干净估计预测可提前接受的 token」这一机制方向,但未说明:接受/拒绝的具体判据(如误差阈值、与最终步结果的一致性度量、置信度打分)、是否逐 token 独立判定还是批量判定、拒绝后如何回退重算。这些需要查阅论文原文才能确认。