AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以回答「vLLM 中为长上下文场景配置投机解码草稿模型」的具体配置方法（如参数名、配置文件写法、启动命令），资料中没有任何 vLLM 配置项、代码或命令层面的细节。资料能确认的只有一条相关思路：长上下文下不必换用长上下文草稿模型，而是用推理期机制让短上下文草稿器继续工作。 可确认的部分

问题背景：超长上下文下投机解码的加速会消失，原因是草稿模型需要处理完整前缀1。
论文给出的方案：冻结短上下文草稿器，不改权重，通过两个推理期机制——限制注意力缓存、重定位旋转位置索引——使其在 200 万 token 下仍保持短上下文时的加速比1。
部署形态：论文称在 vLLM 侧只需单一配置即可覆盖 4k 到 2M token1。但资料未说明该配置的具体字段与取值，因此无法给出可执行的配置示例。

另一条资料（与草稿模型配置无直接关系）

AbridgeKV 关注的是 KV 缓存压缩：把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，释放原始缓存2。
效果：在 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度；vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。这可作为长上下文显存/吞吐优化的旁证，但不是投机解码草稿模型的配置方法。

建议若要落地配置，需要补充该论文的正文/代码仓库或 vLLM 官方文档中关于投机解码与长上下文的相关参数说明；现有两条资料无法支撑具体配置步骤。

继续追问

论文提到的「限制注意力缓存」和「重定位旋转位置索引」在 vLLM 中对应哪些具体参数或代码路径？vLLM 当前版本支持哪些投机解码草稿模型接入方式（如 draft model、n-gram、EAGLE 等），长上下文下有何限制？AbridgeKV 的 pause token KV 压缩能否与投机解码叠加使用，二者在显存和吞吐上的收益是否冲突？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache