寻脉SEEKPULSE
发现热榜需求广场技术讨论工具箱信源

AI 搜索

带引用 · 可溯源

先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接

范围:站内优先仅站内全网全网通道:bing
AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目,从而释放原始缓存,后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下,仅保留四分之一缓存即可匹配全 KV 模型精度,vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

RoLaQ 是一种面向多头潜在注意力(MLA)的离线校准方法,通过联合优化子空间旋转与量化范围,将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度,并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐,显著降低长上下文推理显存开销。

部署与算力·arXiv cs.LG·4 天前