AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以完整回答「vLLM 当前版本支持哪些投机解码草稿模型接入方式」这一问题——资料1只涉及长上下文场景下的一种草稿器使用方式，并未列举 vLLM 支持的接入类型清单（draft model / n-gram / EAGLE 等各自的支持情况无法从资料中确认）。以下仅列出资料中能确认的部分：

长上下文下投机解码的加速会消失：论文指出，在超长上下文场景中，由于草稿模型需要处理完整前缀，投机解码带来的加速效果会丧失1。
无需长上下文草稿器：作者提出冻结一个短上下文草稿器，不改动其权重，仅通过两个推理期机制——限制注意力缓存、重定位旋转位置索引——使其在 200 万 token 的上下文下仍保持与短上下文时相当的加速比1。
vLLM 侧配置：该方法在 vLLM 侧只需单一配置即可覆盖 4k 到 2M token 的上下文范围1。

关于 n-gram、EAGLE、独立 draft model 等具体接入方式在当前 vLLM 版本中的支持状态与限制，资料未涉及，无法据此作答。

继续追问

vLLM 官方文档中 speculative decoding 支持哪些草稿来源（draft model、n-gram、EAGLE/Medusa 等），各自配置参数是什么？论文中「限制注意力缓存」和「重定位旋转位置索引」两个机制的具体实现细节与适用模型架构是什么？在 200 万 token 上下文下，该方法的加速比数值与基线对比结果如何？

参考来源

1 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding