RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
中文摘要
由模型生成 · 人工抽检RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。
全文
已译中文arXiv:2610.20686v1 公告类型：新
摘要：多头潜在注意力（MLA）将键值缓存的内容压缩为每个 token 的共享潜在表示，使得低比特存储对长上下文推理颇具吸引力。在 2 比特下，该表示中的误差会同时扰动注意力匹配与值读出，其影响取决于误差方向与重建尺度。我们提出 RoLaQ（Rotation-calibrated Latent Quantization，旋转校准潜在量化），一种用于联合旋转与范围校准的离线方法。RoLaQ 在由冻结的键投影与值投影所定义的子空间内细化共享旋转，并联合学习量化范围，其阈值与重建增益相互耦合以控制共享信号的响应。预测匹配与注意力输出监督在模型权重冻结的情况下指导校准。在三个 MLA 模型和六个基准测试上，无论是否使用 token 保护，RoLaQ 在所比较的 2 比特方法中均取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现在相同内存预算下提供 3.96 倍的 BF16 KV 容量，并在 256K 输入 token 下达到其 2.51 倍的解码吞吐。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。