先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接
4 条 · 点击可看原文全文与中文译文
RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。
AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。
Velox是一种免训练的注意力路由方法，利用流式几何中的视锥板对应关系做区域级上下文选择，将历史块表示为带深度区间的相机视锥板，从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍，WBench导航任务精度仅差0.15分，让长视频世界模型交互更实时。
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题，提出 Speculative Forcing 框架，将中间干净估计作为草稿，预测哪些 token 可提前接受并冻结，同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量，LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
现有资料不足以判断该结论在不同模型规模上是否成立。 资料2只报告了单一实验设置下的结果，没有给出跨模型规模的对比。 资料中能确认的部分：
资料未覆盖的部分：
因此，该结论目前只能视为在资料2所述设置下成立，跨模型规模的普适性缺乏证据。