大模
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
提出 GGPO，一种面向可验证奖励的离策略强化学习算法，通过最小化同一提示下响应的 KL 调整奖励的对数均值指数对比，避免学习者到行为策略的重要性权重，从而降低长响应的高方差。实验显示其在数学推理上优于 GRPO 和 AGRO，并能在策略陈旧度增大时保持性能。
大模型·arXiv cs.LG·5 天前
AI 搜索
带引用 · 可溯源先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接
AI 答案正在检索与综合…
站内相关条目
1 条 · 点击可看原文全文与中文译文