AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以回答「具体如何通过配置启用」这一问题。资料1只说明这两个机制（限制注意力缓存、重定位旋转位置索引）属于推理期机制，并声称在 vLLM 侧「单一配置即可覆盖 4k 到 2M token」1，但摘要中没有给出任何配置项名称、参数取值、命令行或代码示例，因此无法据此写出可执行的启用方式。资料中能确认的部分：

这两个机制是推理期手段，不需要训练长上下文草稿模型，也不需要修改模型权重：冻结短上下文草稿器即可1。
目标是让短上下文草稿器在超长上下文（论文称可达 200 万 token）下保持与短上下文时相当的投机解码加速比1。
论文明确提到 vLLM 侧存在「单一配置」即可覆盖 4k 到 2M token 的用法1，但该配置的具体形态未在摘要中披露。
资料2是另一篇关于 KV 缓存压缩（AbridgeKV）的工作，与资料1的机制无关，不能用于回答本问题2。

建议直接查阅论文原文（arXiv:2610.20865）的实现在线仓库或实验设置章节，以获取确切的配置字段与示例1。

继续追问

论文 arXiv:2610.20865 中提到的 vLLM 单一配置具体是哪个参数？「重定位旋转位置索引」与 RoPE 位置插值/外推方案有何区别？该机制对投机解码的接受率（acceptance rate）有何影响？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache