AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以回答「vLLM 中对应哪些具体实现改动」这一具体问题——资料1只给出了两个机制的名称与效果层面描述，没有列出任何 vLLM 侧的代码、类名、配置项或补丁细节。资料2虽然也提到 vLLM，但讲的是另一套 KV 压缩方案，与「限制注意力缓存 + 重定位旋转位置索引」不是同一机制，不能用来补足。资料1中能确认的部分：

问题背景：超长上下文下投机解码的加速会消失，原因是草稿模型需要处理完整前缀1。
方案定位：无需训练长上下文草稿模型，冻结短上下文草稿器，不改权重，仅在推理期做干预1。
两个推理期机制：一是限制注意力缓存，二是重定位旋转位置索引；二者配合让短上下文草稿器在 200 万 token 下保持短上下文时的加速比1。
部署形态：vLLM 侧「单一配置即可覆盖 4k 到 2M token」1——即作者声称改动收敛为一个配置项，但资料未说明该配置的名称、作用域或它内部如何分别控制上述两个机制。

因此，关于「具体实现改动」（例如缓存窗口如何截断、RoPE 位置索引如何重映射、是否涉及 attention metadata 或 block table 的修改），资料中没有可引用的内容，不做推测。可对照的另一条线索（不同机制，仅供区分）：资料2的 AbridgeKV 走的是训练侧路线，把长推理压缩进可学习 pause token 的 KV 条目，在 vLLM 中实现单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2；它并未涉及旋转位置索引重定位2。

继续追问

资料[1]中「限制注意力缓存」具体是截断 KV 窗口还是按 token 预算驱逐，论文有无给出窗口大小与加速比的对应关系？「重定位旋转位置索引」是把位置编号压缩重映射，还是按块重置 RoPE 基准？对 attention 的 logits 一致性有何影响？vLLM 侧那个「单一配置」是启动参数、采样参数还是模型配置字段？4k 到 2M 的切换是否需要重启服务？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache