Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight

arXiv:2610.21018v1 公告类型：新

摘要：当一个问题的所有 rollout 都失败时，GRPO 既得不到成功的范例，也得不到非零的组相对优势，因此它恰恰无法从最需要学习的问题中学到任何东西。然而，失败的推理过程仍能提示下一步该尝试什么。我们提出 Replay-Selected Hindsight Distillation（RSHD），它在 GRPO 训练期间将失败的尝试转化为额外的、经过检验的监督来源。策略模型在看不到参考答案或解答的情况下，为每次失败尝试写下一段纠正性笔记，然后带着该笔记在上下文中重新求解该问题。只有当某条笔记的重放成功频率高于原始组时，该笔记才会被接纳；在此之前会先筛除那些直接写出答案的笔记，而被接纳的重放会被蒸馏进纯提示词策略中。由于接纳与否由新的成功结果而非失败的 rollout 本身决定，该过程可以从所有尝试均失败的组中恢复监督信号，并且同样适用于混合组中的失败。只有策略模型被训练，唯一的评判者是结果验证器，部署时不需要笔记，也不需要额外的推理。在多个模型系列与规模以及两个训练领域上，RSHD 在域内基准测试上稳定优于 GRPO，且增益可延续到域外评估集。