AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答该问题。资料 1 只给出了整体结论：在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度1。但摘要没有按题型拆分精度表现，也没有说明哪些题型出现精度损失、损失幅度多大。资料中能确认的相关信息仅有：

评测集为 AIME 等 446 道竞赛题，生成长度为 32K1；
在该设置下，保留四分之一缓存可匹配全 KV 模型精度，即整体上未报告显著精度下降1；
工程收益：vLLM 中单序列缓存缩小 3.5 倍，H100 上完成速度提升 3.2 倍1。

因此，关于“精度损失具体体现在哪些题型上”，需要查阅论文正文的细分实验结果，现有摘要无法支撑。

继续追问

AbridgeKV 在 32K 生成下保留四分之一缓存时，各题型的逐项精度对比数据在哪里可以查到？AbridgeKV 的 pause token 压缩机制对长链数学推理与短答案题型的影响有何差异？AbridgeKV 在保留更少缓存（如八分之一）时精度如何变化？

参考来源

1 条

1站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache