大模
推测强制加速自回归视频生成
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题,提出 Speculative Forcing 框架,将中间干净估计作为草稿,预测哪些 token 可提前接受并冻结,同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量,LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
大模型·Hugging Face Papers·4 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题,提出 Speculative Forcing 框架,将中间干净估计作为草稿,预测哪些 token 可提前接受并冻结,同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量,LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
现有资料不足以回答这个问题。资料1只介绍了 Speculative Forcing 的整体框架,没有涉及 KV 压缩方法,因此无法对两者做实质对比。资料中能确认的只有与「冻结 token 的 KV 缓存保留策略」相关的一点信息:
关于「KV 压缩方法」(例如压缩对象、压缩率、是否丢弃或合并 KV、对质量的影响等),资料1未提供任何描述,因此无法判断它与上述保留策略在机制、目标和代价上的异同。