Recursive Reward Improvement via Adversarial Meta-Prompt Evolution

arXiv:2610.21040v1 公告类型：新

摘要：递归自我改进（Recursive Self-Improvement，RSI）因其能够在数据有限的情况下工作而受到广泛关注。在提议者-求解者（proposer-solver）循环中，提议者模型编写训练任务，求解者模型通过强化学习学会解决这些任务。此类循环已在数学和编程领域取得成功，因为在这些领域中每个答案都可以被自动检查。开放式的专家任务（如临床报告生成）没有标准答案，这使得简单的问答生成不可行。在此类场景中，提议者还必须编写一份评分标准（rubric），列出答案应包含的内容以及应避免的错误。然而，模型编写的评分标准所面临的独特挑战在于其全面性。对于朴素生成的评分标准，求解者往往会利用它——只列出预期的话题名称而缺乏实质内容——从而破坏学习过程。为解决这一问题，我们提出了 RRI（Recursive Reward Improvement，递归奖励改进），它使用一个奖励攻击对抗者（reward hacking adversary）来监督奖励。在求解者于生成的任务上进行训练之前，一个对抗者会编写一个钻评分标准空子、同时尽可能无用的答案；同一个模型会在不看评分标准的情况下编写一个诚实答案；最多经过两步修复来修订评分标准，使诚实答案获胜。所发现的漏洞利用方式也会改写未来任务和评分标准的生成方式。在 HealthBench Professional 上，RRI 在 9B 模型上将调整后分数相较于仅生成（Generation Only）自我改进基线提升了 10.9 分，在 27B 模型上提升了 12.4 分；在没有任何外部模型的情况下提升了 10.3 分。特别是，在困难任务和写作任务上收益最大。我们表明，在 HealthBench Professional 描述上训练的 27B 模型在未见过来自 PRBench Hard 和 ProfBench 的任何任务的情况下，分别提升了 6.6 分和 8.0 分。我们进一步分析了模型生成的问题-评分标准对中可被利用的点，以促进未来关于开放式自我对弈（open-ended self-play）的研究。