AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

结论：现有资料只能确认「限制注意力缓存 + 重定位旋转位置索引」这两个机制在论文层面被提出，并声称可通过 vLLM 侧单一配置覆盖 4k 到 2M token；但资料未给出任何 vLLM 的具体实现细节、代码路径或 PR 编号，因此无法确认 vLLM 中是否已有对应实现或 PR。

论文提出的两个推理期机制是：限制注意力缓存与重定位旋转位置索引，二者配合让冻结的短上下文草稿器在 200 万 token 下仍保持短上下文时的投机解码加速比，且无需修改模型权重1。
该方案强调工程落地形态为「vLLM 侧单一配置即可覆盖 4k 到 2M token」1，这暗示作者面向 vLLM 做了适配，但资料仅停留在摘要层面的表述，未说明是已合并实现、待提交 PR，还是仅论文内的实验性改动。
资料中另一条工作 AbridgeKV 同样涉及 vLLM 中的缓存压缩效果（单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍）2，但其机制是把长推理压缩进可学习 pause token 的 KV 条目2，与「限制注意力缓存 + 重定位旋转位置索引」并非同一机制，不能作为前者的实现证据。

现有资料不足以回答「vLLM 中是否已有对应实现或 PR」这一具体问题：缺少仓库链接、PR 编号、版本号或配置项名称。建议直接检索 vLLM 仓库中与 attention cache 限制、RoPE 索引重定位相关的 PR/issue，或查阅论文 1 的正文与附录中的实现说明。

继续追问

论文 [1] 中「限制注意力缓存」的具体实现方式是什么，是否会改变 KV cache 的分配策略？「重定位旋转位置索引」与 vLLM 现有的 RoPE 实现（如 rotary embedding 相关 kernel）如何兼容？AbridgeKV 的 pause token 压缩方案在 vLLM 中是如何接入的，是否有对应 PR？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache