部署与算力arXiv cs.LG4 天前
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。