AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答「vLLM 支持哪些草稿模型类型（draft model、EAGLE、Medusa、n-gram）」这一问题。资料1是一篇关于长上下文投机解码的论文摘要，并未列举 vLLM 支持的草稿模型类型清单，也没有提及 EAGLE、Medusa、n-gram 等具体方案。资料1中能确认的相关信息仅有：

该工作针对投机解码（speculative decoding）在超长上下文下加速效果消失的问题，原因是草稿模型需要处理完整前缀1；
其方案是冻结短上下文草稿器，通过两个推理期机制——限制注意力缓存、重定位旋转位置索引——使其在 200 万 token 下保持短上下文时的加速比，且无需修改权重1；
该方案在 vLLM 侧只需单一配置即可覆盖 4k 到 2M token1。

也就是说，资料1只说明 vLLM 可作为该方法的部署载体、并存在一个覆盖长上下文的配置项，但未说明该配置对应的草稿模型类型名称，也未给出 vLLM 支持的草稿模型类型范围。建议查阅 vLLM 官方文档中 speculative decoding 相关章节以获取准确清单。

继续追问

vLLM 的投机解码在配置中如何指定草稿模型？EAGLE、Medusa、n-gram 这几种投机解码方案在实现机制上有什么区别？资料[1]中限制注意力缓存和重定位旋转位置索引具体是怎么实现的？

参考来源

1 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding