先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接
4 条 · 点击可看原文全文与中文译文
研究指出，RLVR 在域外任务（如数学训练后 MMLU 提升）上的增益很大程度是答案格式变化而非能力提升。用公开答案提取器评分时，82% 的域外选择题增益在改用能读取文本或 \boxed{} 的提取器后消失：RL 只是把答案移进提取器优先查找的框里。该发现提醒评测结果依赖提取器，可用二次评分低成本验证。
MAI-Gym 是面向 GUI 智能体的开源一体化平台，统一移动端、桌面与网页环境的评测、数据采集和在线 RL 训练，支持万级并行环境与自动合成可验证任务。其训练的 9B 模型在 MobileWorld 与 OSWorld 上达开源同规模最优，且模拟应用训练可迁移到真机，显著降低 GUI 智能体训练成本。
针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。
提出 GGPO，一种面向可验证奖励的离策略强化学习算法，通过最小化同一提示下响应的 KL 调整奖励的对数均值指数对比，避免学习者到行为策略的重要性权重，从而降低长响应的高方差。实验显示其在数学推理上优于 GRPO 和 AGRO，并能在策略陈旧度增大时保持性能。