Velox是一种免训练的注意力路由方法，利用流式几何中的视锥板对应关系做区域级上下文选择，将历史块表示为带深度区间的相机视锥板，从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍，WBench导航任务精度仅差0.15分，让长视频世界模型交互更实时。

#world-model #video-diffusion

已过时译★ 15

部署与算力arXiv cs.LG4 天前

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

#speculative-decoding #long-context

已过时译

大模型arXiv cs.LG4 天前

Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors

研究检验 MoE 模型中按层、按任务阶段（提示/推理/响应）的专家路由统计能否指导 FFN 张量的分层混合精度量化。作者在 ik_llama.cpp 上为 Qwen-3.6-35B-A3B 构建路由捕获与剖析管线，用坐标下降调优位宽分配。结果显示路由引导的重分配在各质量档位均未超过均匀基线，激进预算下随机分配与路由引导表现相当，说明路由统计并非量化敏感度的可靠代理。

#moe #quantization

已过时译

大模型arXiv cs.LG4 天前

On-Policy Residual Learning for Diffusion Language Models

提出 ORL，一种面向扩散语言模型（DLM）的在线策略残差学习框架，通过熵收缩目标与异步残差捕获、块扩散注意力等系统协同设计，显著提升每前向 token 数与端到端吞吐。在 Qwen3-4B 转换的 4B DLM 上 TPF 提升至 6.2 倍、吞吐约 6.9 倍，单 H100 服务下速度-质量帕累托前沿优于 EAGLE3/DFlash 投机解码，并可迁移至 LLaDA-2.1-mini 与 DiffusionGemma。

#diffusion-lm #on-policy

已过时译

部署与算力arXiv cs.LG4 天前

RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。

#kv-cache #quantization

已过时译

大模型arXiv cs.LG4 天前

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

#mamba #llm

已过时译