AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答「保留被接受 token 的 KV 作为上下文」的具体实现粒度问题。资料 1 只给出了框架层面的描述，没有说明 KV 保留是按 token、按层、按 head 还是按 block 粒度实现。资料 1 中能确认的部分：

Speculative Forcing 针对少步自回归视频生成中「所有 token 都跑完最终去噪步」的浪费问题1；
该框架把中间干净估计作为草稿，预测哪些 token 可以提前接受并冻结，同时保留其 KV 缓存作为上下文1；
在短视频、长视频和世界生成任务上保持全步采样质量，LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍1。

也就是说，资料只确认了「冻结被接受 token 并保留其 KV 缓存」这一机制存在，但未涉及实现粒度（如逐 token 逐层写入、KV 复用范围、是否跨去噪步持久化等）。建议查阅原论文的方法或实现章节。

继续追问

Speculative Forcing 的草稿 token 接受判定依据是什么（置信度、去噪步数还是误差阈值）？被冻结 token 的 KV 缓存是否跨去噪步持久保留，还是每步重建？该方法在 LongLive 上的 1.7 步/token 是如何统计的，与全步采样的质量对比指标是什么？

参考来源

1 条

1站内推测强制加速自回归视频生成针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题，提出 Speculative Forcing 框架，将中间干净估计作为草稿，预测哪些 token 可提前接受并冻结，同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量，LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。Hugging Face Papershttps://huggingface.co/papers/2610.22347

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

大模

推测强制加速自回归视频生成

针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题，提出 Speculative Forcing 框架，将中间干净估计作为草稿，预测哪些 token 可提前接受并冻结，同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量，LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。

大模型·Hugging Face Papers·5 天前

#video-generation