Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

arXiv:2610.20639v1 公告类型：新

摘要：带可验证奖励的强化学习（RLVR）被认为能带来超出其奖励所检验领域之外的增益，例如在数学训练之后获得更高的 MMLU 准确率。此类准确率通常由答案提取器从模型文本中读出。因此，一个学会在提取器所查找的位置写出答案的模型，可以在没有答得更好的情况下获得更高分数。我们测量了从公开代码中复制的提取器所报告的增益中有多少是以这种方式产生的。我们从基座模型及其 RL 模型生成输出，并对它们进行两次评分：一次使用那些提取器，一次使用我们自己构建的提取器——后者读取明确陈述的答案，无论该答案位于答案框 \boxed{} 中还是在文本中。在四组已发布的 7B SimpleRL 基座-RL 配对上，这些提取器所报告的域外多项选择增益中有 82% 在我们的提取器下消失：这是答案格式上的增益，而非答案本身上的增益。基座模型已经以文本形式陈述了其大部分答案，而 RL 将它们移入框中，也就是这些提取器首先查找的位置。用独立的 LLM 阅读器替代我们的提取器，该数字为 77%。使用一个本身要求给出框的提示词时，我们的提取器给出的数字为 79%。在一个用另一种配方训练的 32B 配对上，所报告增益中几乎没有格式增益：其基座模型在被要求时会用框标出答案，而其 RL 模型在未被要求时很少这样做。所报告的增益部分地是读取它的提取器的一种属性，而用第二个提取器对已存储的输出重新评分可以显示这一比例，且无需重新运行 RL。