部署
Long-Context Drafting Does Not Require Long-Context Drafters
论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。
部署与算力·arXiv cs.LG·5 天前
AI 搜索
带引用 · 可溯源先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接
AI 答案正在检索与综合…
站内相关条目
2 条 · 点击可看原文全文与中文译文
部署
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。
部署与算力·arXiv cs.CL·5 天前