AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料只能给出方向性结论，不足以给出 vLLM 中可直接落地的具体配置项、参数名或代码。资料中唯一直接讨论「长上下文 + 投机解码 + 草稿模型」的是 1，但它描述的是方法层面的两个推理期机制，并未列出 vLLM 的配置字段。 可确认的部分（来自 [1]）

问题定位：在超长上下文下，投机解码的加速效果会消失，原因是草稿模型必须处理完整前缀1。
解决思路：不需要训练长上下文草稿模型，而是冻结短上下文草稿器，通过两个推理期机制让它适配长前缀1：

1. 限制注意力缓存（限制草稿器可见的缓存范围）； 2. 重定位旋转位置索引（把位置索引重新映射，避免超出短上下文草稿器的训练分布）。

效果声称：无需修改权重，在 200 万 token 下仍保持短上下文时的加速比1。
部署形态：vLLM 侧单一配置即可覆盖 4k 到 2M token1。

资料未覆盖的部分

该「单一配置」在 vLLM 中的具体字段名、取值、是否需要自定义 attention backend 或 patch，资料均未说明1。
草稿模型选型、草稿 token 数（num_speculative_tokens 类参数）、与 PagedAttention/前缀缓存的交互，资料未涉及1。

旁证（非草稿模型配置，仅供参考） 2 讨论的是长上下文下的 KV 缓存压缩而非投机解码：把长推理压缩进可学习 pause token 的 KV 条目，在 vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。它与 1 属于不同技术路线，不能直接当作草稿模型配置依据。建议：若要落地，需回到 1 原文确认其 vLLM 实现细节（是否以插件/分支形式提供），现有摘要信息不足以支撑写出配置代码。

继续追问

论文 [1] 中「限制注意力缓存」和「重定位旋转位置索引」的具体实现方式是什么？是否以 vLLM 插件或分支形式开源？在 vLLM 中启用投机解码时，草稿模型的最大上下文长度与目标模型不一致会怎样报错或降级？AbridgeKV 的 pause token KV 压缩能否与投机解码叠加使用，两者在 vLLM 中的缓存管理是否冲突？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache