大模型摘要可能已过时中文全文附件 2arXiv cs.LG · 2026-10-17 · 4 天前
Amortizing Sequential Experimental Design in Reasoning LLMs
中文摘要
由模型生成 · 人工抽检该论文研究如何将序贯贝叶斯实验设计（BED）摊销进推理型LLM，通过信息增益奖励显式训练引导动作选择的推理过程。在二十问任务上，所得策略以更低计算成本超越训练与推理时BED基线，并迁移至临床对话基准Medi-Q，表明信息收集可作为可泛化的推理技能被学习。
全文
已译中文arXiv:2610.20832v1 公告类型：新
摘要：尽管大语言模型（LLM）拥有广泛的预训练知识和强大的推理能力，但它们在实验设计任务中难以自适应地收集信息。我们研究如何通过使用信息增益奖励显式训练引导动作选择的推理，将序列贝叶斯实验设计（BED）摊销到 LLM 中。我们的方法独立于 LLM 自身的信念来指定实验生成模型，使我们能够在自行选择的模型下优化期望信息增益。我们考察了摊销的设计选择，包括替代性生成模型构建、奖励估计、假设空间指定、多步目标，以及相对于训练时和推理时 BED 基线的计算成本。在 Twenty Questions 上，所得策略改善了信息获取和任务表现，以显著更低的计算成本优于推理时和训练时 BED 基线，并泛化到未见类别。我们进一步展示了从 Twenty Questions 训练到 Medi-Q（一个真实世界的临床对话基准测试）的正向迁移。这些结果表明，信息收集可以作为 LLM 中一种可泛化的推理技能被学习。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件有效期判断
起 2026-10-16止 2026-04-20模型置信度 60%
正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。