On-Policy Residual Learning for Diffusion Language Models

arXiv:2610.20687v1 公告类型：新

摘要：残差上下文（residual context）是通过在去噪步骤之间传递预测分布来解锁扩散语言模型（DLM）速度-质量帕累托前沿的关键。然而，将这一看似简单的机制转化为有效的学习范式远非易事：目前尚无明确的方案说明应如何学习残差上下文。我们提出 ORL，一个用于 DLM 中同策略残差学习（on-policy residual learning）的框架。在算法层面，我们指出残差学习本质上是同策略的。ORL 即时地从模型诱导的残差轨迹中学习，并引入熵收缩目标（entropy-contraction objective），在模型反复审视自身预测的过程中锐化预测。在系统层面，精确的残差监督需要捕获、保留并重新处理大量依赖轨迹的状态。ORL 将算法与异步残差捕获与传输、专用的块扩散注意力（block-diffusion attention）以及打包的计算均衡训练进行协同设计，使其在大规模下切实可行。在一个由 Qwen3-4B 转换而来的 4B DLM 上，ORL 将每次前向的 token 数（TPF）最高提升 6.2 倍，并且借助我们的 dlmrt 引擎，在质量相当或更优的情况下将端到端吞吐提升约 6.9 倍。在单张 H100 上进行单请求服务时，该模式在严格与宽松验证下均实现了比采用 EAGLE3 和 DFlash 投机解码的自回归模型更强的速度-质量帕累托前沿，在精度匹配时比 DFlash 快 1.74 倍。ORL 同样可迁移至现有 DLM：在 LLaDA-2.1-mini 上，36 个 H100 小时和 4.2M 自生成 token（数据量约为先前 LLaDA 方案的 1/10）即可在质量相当的情况下实现最高 1.5 倍的 TPF 提升和最高 3 倍的吞吐提升；在 DiffusionGemma 上，ORL 将 TPF 提升 1.1-1.2 倍。结合 dlmrt 与 NVFP4 量化，ORL 模型在单张 B200 上单请求解码速度最高达 5,046 tokens/s，在八张 B200 上达 7,708 tokens/s，在消费级 RTX 5090 上达 2,788 tokens/s，且质量相当。