大模型arXiv cs.LG4 天前
On-Policy Residual Learning for Diffusion Language Models
提出 ORL，一种面向扩散语言模型（DLM）的在线策略残差学习框架，通过熵收缩目标与异步残差捕获、块扩散注意力等系统协同设计，显著提升每前向 token 数与端到端吞吐。在 Qwen3-4B 转换的 4B DLM 上 TPF 提升至 6.2 倍、吞吐约 6.9 倍，单 H100 服务下速度-质量帕累托前沿优于 EAGLE3/DFlash 投机解码，并可迁移至 LLaDA-2.1-mini 与 DiffusionGemma。