AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答「128K 长上下文基准上的具体精度数值」这一问题。 资料 1 只给出了概括性的精度结论，没有披露任何 128K 或其它具体上下文长度下的基准分数。资料 1 中能确认的部分：

方法定位：RoLaQ 是面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，把 KV 缓存压缩到 2 比特1。
精度结论（相对性表述）：在三个 MLA 模型、六个基准上，取得同类 2 比特方法中的最高平均精度1。注意这是「同类 2 比特方法中的最高平均精度」，并非绝对精度值，也未说明基准是否包含 128K 长度。
效率数据：在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销1。

因此，关于「128K 长上下文基准精度」只能确认 RoLaQ 面向长上下文场景设计并降低了长上下文推理开销1，但具体到 128K 的精度表现（如各基准得分、与 FP16/BF16 或其它量化基线的差距）在现有资料中缺失，无法给出数字。

继续追问

RoLaQ 在六个基准上具体的平均精度数值是多少，与 FP16 基线的差距有多大？RoLaQ 的 2 比特 KV 量化在 32K/64K/128K 不同上下文长度下的精度衰减曲线如何？RoLaQ 的联合旋转与范围校准相比单独使用旋转或范围校准，精度提升多少？

参考来源

1 条

1站内RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent AttentionRoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。arXiv cs.LGhttps://arxiv.org/abs/2610.20686

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

部署

RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。

部署与算力·arXiv cs.LG·4 天前

#kv-cache