现有资料不足以系统回答「隐式思维链(latent CoT)方向的代表性 KV 压缩方法」这一问题——4 条资料中只有 1 条明确针对长推理链的 KV 压缩,其余分别面向 MLA 量化、视频世界模型与视频生成,与 latent CoT 无直接对应关系。以下仅列出资料中可确认的相关内容,并标明其真实适用范围。
1. 与「长推理链压缩」最直接相关的一条
- AbridgeKV:训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目,释放原始缓存,后续 token 改为关注这些 pause token2。在 AIME 等 446 道竞赛题、32K 生成下,仅保留四分之一缓存即可匹配全 KV 模型精度,vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。这是资料中唯一明确以「长推理(long reasoning)」为对象的 KV 压缩工作,但它压缩的是显式推理文本的缓存,资料未说明其属于隐式/潜在空间 CoT。
2. 属于 KV 压缩但面向 MLA 架构,非 CoT 专用
- RoLaQ:面向多头潜在注意力(MLA)的离线校准方法,联合优化子空间旋转与量化范围,将 KV 缓存压缩至 2 比特1。在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度,DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐1。资料未提及其与思维链或推理链长度的关系。
3. 属于「抑制 KV 缓存增长」但场景为视频,不可直接迁移结论
- Velox:免训练注意力路由,用视锥板对应关系做区域级上下文选择,抑制随 rollout 增长的 KV 缓存开销;第 48 块时注意力加速 4.36 倍、去噪加速 2.43 倍3。
- Speculative Forcing:将中间干净估计作为草稿,预测可提前接受的 token 并冻结,同时保留其 KV 缓存作为上下文;LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍4。
结论:若你的问题是「latent CoT 场景下有哪些代表性 KV 压缩方法」,现有资料不足以回答,只能确认 AbridgeKV 是其中唯一直接针对长推理链缓存压缩的条目2,RoLaQ 提供 MLA 上的 2 比特量化路线1,Velox 与 Speculative Forcing 的 KV 相关机制均属视频生成场景34,不能作为 latent CoT 方法的证据。