AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料只能给出间接线索，不足以系统回答"这类方法在 vLLM 上落地的主要工程障碍"——两篇摘要都只正面描述 vLLM 侧的收益与配置便利性，没有列举障碍或失败模式。以下仅列出资料中可确认的相关事实与可推断的接触点。 资料中可确认的部分

长上下文投机解码方向：论文指出超长上下文下投机解码的加速会消失，原因是草稿模型需处理完整前缀1。其解法是冻结短上下文草稿器，用两个推理期机制——限制注意力缓存、重定位旋转位置索引——在 200 万 token 下保持短上下文时的加速比，且无需改权重，vLLM 侧"单一配置即可覆盖 4k 到 2M token"1。
KV 压缩方向：AbridgeKV 把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目以释放原始缓存，后续 token 改为关注这些 pause token2；在 32K 生成下仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。

从上述事实可定位的潜在工程接触点（属推断，非资料明述）

位置编码与注意力缓存的推理期改写：需要改动 RoPE 索引重定位与缓存长度策略，这类改动通常落在 vLLM 的注意力后端与 KV cache 管理层1。
缓存布局的非标准语义：pause token 的 KV 条目承担被压缩历史块的信息承载，意味着缓存不再是"逐 token 一一对应"的常规结构，对分页/块管理与前缀复用逻辑提出新要求2。
配置面收敛：资料强调"单一配置覆盖 4k 到 2M"1，反过来说明此前需要按上下文长度分别调参，配置泛化本身是一个落地成本项。

结论：资料未提供障碍清单、兼容性限制或实测失败案例，无法给出可靠答案；建议补充两篇论文的工程实现章节或 vLLM 相关 PR/issue 后再评估。

继续追问

限制注意力缓存与重定位旋转位置索引这两个机制，在 vLLM 中具体改动了哪些模块？AbridgeKV 的 pause token KV 条目如何与 vLLM 的 PagedAttention 分页管理兼容？这两类方法在 4k 到 2M token 全区间是否共用同一套 vLLM 配置，有无性能回退区间？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache