AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

部分可确认基于 2 条来源 · 引用可点击溯源

结论：现有资料只能给出一个直接原因——草稿模型必须处理完整前缀，导致长上下文下投机解码的加速消失[1]；资料未提供更细的量化拆解。

核心机制：论文明确指出，超长上下文下投机解码的加速会消失，原因是草稿模型需要处理完整前缀1。也就是说，随着上下文变长，草稿阶段本身的开销随前缀长度增长，投机解码原本靠“小模型多猜、大模型少验”获得的收益被草稿成本抵消1。
论文给出的应对思路（侧面印证上述归因）：无需训练长上下文草稿模型，而是冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让它在 200 万 token 下保持短上下文时的加速比，无需改权重，vLLM 侧单一配置即可覆盖 4k 到 2M token1。
另一条资料与本题无直接关系：AbridgeKV 讨论的是把长推理压缩进 pause token 的 KV 缓存以缩小缓存、提速，属于 KV 压缩方向，并未分析投机解码加速衰减的原因2。

资料不足以回答的部分：衰减的具体量化曲线、草稿模型开销与验证收益的分解比例、不同草稿长度/接受率下的表现差异等，现有资料均未涉及，不做推测。

继续追问

限制注意力缓存和重定位旋转位置索引这两个机制具体怎么实现？在 vLLM 里如何配置？短上下文草稿器在 2M token 下保持加速比，接受率（acceptance rate）会下降吗？KV 缓存压缩（如 AbridgeKV）能否与长上下文投机解码方案叠加使用？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache