用集合级强化学习训练模型生成多样化科研想法

研究流水线的第一步是生成想法。大语言模型（LLM）正越来越多地被用于自动化这一步，但这类工作大多优化的是单个想法的质量，而忽视了多样性。在我们的工作中，我们研究基于文档的想法生成，重点关注提升 LLM 生成想法的多样性并确保其高质量。给定已有论文，模型必须提出一组想法，每个想法都高质量且彼此明显不同，同时还要扎根于输入文档。为优化这一点，我们提出使用集合级强化学习目标进行训练。在我们的设置中，模型在单次生成中写出 K 张基于源论文的结构化想法卡片，并对整个集合进行联合评分，其中每个想法的质量按其与之前所写想法的距离加权。这教会模型将每个新想法引导远离其前驱想法。我们展示，在我们无污染基准测试上，我们训练的 8B 模型实现了比 Claude Opus 4.8 和 GPT-6 Astra 更高的创造性效用（一种结合质量与多样性的度量）。在一项由四位专家参与的初步人类研究中，我们的想法集合被评判为与 Claude Opus 4.8 的一样有前景，并且包含略多独特的想法。当编码智能体对这些想法运行概念验证实验时，我们模型的 success@k 与 Claude Opus 4.8 相当，因此我们看到增加的多样性没有牺牲任何可执行性。