AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

结论：现有资料无法直接回答“KV 压缩后释放原始缓存对前缀缓存命中率的影响”这一问题——两条资料都没有测量或讨论 prefix caching 命中率。 只能给出与机制相关的间接信息。 资料中能确认的部分：

AbridgeKV 的做法是把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token2。这意味着被释放的原始 token 的 KV 条目不再存在于缓存中，后续请求若想复用这段前缀，可复用的对象已变成 pause token 的 KV 条目而非原始 token 序列。
该方案在 32K 生成、AIME 等 446 道竞赛题上，仅保留四分之一缓存即可匹配全 KV 模型精度；在 vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。
另一条资料走的是不同路线：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让投机解码在 200 万 token 下保持短上下文时的加速比，且 vLLM 侧单一配置即可覆盖 4k 到 2M token1。

为什么无法给出命中率结论：

两条资料均未提及 prefix caching、前缀复用率、cache hit rate 等指标1 2；
资料也未说明压缩/释放后的缓存条目是否仍以原始 token 为键参与前缀匹配，而这正是决定命中率的关键2；
因此“释放原始缓存会降低还是提高命中率”在现有资料中没有依据，不宜推测。

可提出的合理关注点（基于资料机制，非资料结论）： 若前缀匹配以原始 token 序列为键，而原始 KV 已被压缩释放2，则同一前缀的后续请求可能无法命中原始条目；但资料未验证这一点。

继续追问

AbridgeKV 的 pause token KV 条目在 vLLM 的 prefix cache 中是如何被索引和复用的？限制注意力缓存（如资料[1]中的机制）与释放原始缓存，对前缀复用分别有什么影响？有没有论文报告过 KV 压缩/驱逐策略对 prefix caching 命中率的定量影响？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache