AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以给出完整的 vLLM 改动清单——两篇论文都只描述了机制层面的要点，没有提供具体的代码改动位置或补丁细节。资料中能确认的部分如下： 1. 长上下文投机解码方法（资料[1]）

核心思路是冻结短上下文草稿模型，不改权重，仅通过两个推理期机制实现：限制注意力缓存、重定位旋转位置索引1。
论文明确称 vLLM 侧只需单一配置即可覆盖 4k 到 2M token1。也就是说，从论文表述看，该方法在 vLLM 中不需要改动模型权重或新增训练流程，改动集中在推理配置层面1。
但资料未说明该配置具体对应 vLLM 的哪个参数、哪个模块（如注意力后端、RoPE 实现、KV cache 管理），也未给出代码路径1。

2. AbridgeKV（资料[2]）

该方法需要训练模型，把长推理文本块压缩进可学习 pause token 的 KV 条目，后续 token 改为关注这些 pause token2。
因此其 vLLM 侧改动至少涉及：支持 pause token 的 KV 条目写入与原始缓存释放、后续 token 的注意力目标切换2。
效果上，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。
资料同样未给出具体需要修改的 vLLM 模块名或接口2。

结论：若问的是资料1的方法，可确认的是“vLLM 侧仅需单一配置、无需改权重”1，但具体改哪个配置项，现有资料不足以回答；若问的是资料2，可确认需要支持 pause token 的 KV 压缩与注意力重定向2，但具体代码改动位置同样缺失。建议查阅两篇论文的原文实现章节或官方仓库。

继续追问

资料[1]中提到的“单一配置”具体对应 vLLM 的哪个参数或配置项？AbridgeKV 的 pause token KV 压缩在 vLLM 中需要改哪些调度或缓存管理模块？这两种方法能否同时用于同一个 vLLM 部署，是否存在冲突？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache