AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以完整回答这个问题：资料1只提到这两个机制的名称和作用（推理期机制、无需改权重、vLLM 侧单一配置即可覆盖 4k 到 2M token），但没有说明它们分别对应 vLLM 的哪些内部实现模块或代码路径。资料2讨论的是 KV 缓存压缩（pause token），与这两个机制无关。因此只能确认以下部分：

两个机制同属推理期手段：论文提出「限制注意力缓存」和「重定位旋转位置索引」两个推理期机制，让冻结的短上下文草稿器在 200 万 token 下保持短上下文时的加速比，且无需修改模型权重1。
部署形态：在 vLLM 侧通过单一配置即可覆盖 4k 到 2M token 的上下文范围1。
机制意图（据名称与上下文推断，资料未展开）：「限制注意力缓存」指向对草稿模型可见的 KV/注意力缓存范围做约束；「重定位旋转位置索引」指向对 RoPE 位置索引做重新映射，使短上下文草稿器能处理超出其训练长度的位置。但资料未给出对应的 vLLM 内部类名、参数名或调度/注意力后端细节1。

如需确认具体对应的 vLLM 内部机制（如 KV cache 管理、block table、位置编码处理等），需要查阅该论文正文或 vLLM 源码，现有两条资料无法支撑。

继续追问

论文中「限制注意力缓存」具体限制了哪些缓存范围，是否影响 vLLM 的 block 分配策略？「重定位旋转位置索引」是如何在不改权重的前提下扩展短上下文草稿器的有效上下文长度的？vLLM 侧那个「单一配置」具体是哪个参数，能否覆盖 4k 到 2M token？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache