AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM8 alignment6 post-training5 pretraining5 training5 agent4 fine-tuning4 multi-agent4

AI 答案

资料有限基于 4 条来源 · 引用可点击溯源

现有资料不足以给出「post-training（后训练）」的系统性定义或方法论综述，只能确认几篇论文中后训练被用于不同场景的具体做法。 1. 后训练被用于联合学习智能体的动作策略与自组织方式 论文提出「基于市场的后训练（market-based post-training，MPT）」，用于在去中心化智能体集群中联合学习动作策略与自我编排：智能体通过出价（bid）表达参与意愿，出价决定谁采取行动、集体结果如何提供局部训练信用；动作行为与出价行为同时学习，使个体能力与参与模式在没有中心协调智能体的情况下共同适应1。在具身制作、机器人导航和深度研究任务上，MPT 相较「单体式后训练（monolithic post-training）」取得更好结果1。 2. 后训练被用于长时程机器学习工程（MLE）智能体 面向自主长时程 MLE 的工作指出：每次实验的反馈都反映此前的若干决策，而一次长时程 MLE 运行包含许多高成本实验，因此训练必须从长交互轨迹中筛选有用的监督信号，并从中间结果中学习2。资料仅给出该问题设定，未展开具体后训练算法细节2。 3. 后训练被用于多智能体协作拓扑生成器，且现有方法存在局限 多智能体系统的效果关键取决于协作拓扑（哪些智能体参与、如何通信），近期工作从任务查询中学习生成拓扑，将生成器拟合到经执行验证的图语料库上3。此类生成器的后训练方法仍有局限：语料库只列出解决了某个查询的图，却从不为其排序，使持续监督微调（SFT）无法利用针对单个查询的偏好信号；缺乏这种偏好，生成器会偏向语料库中出现频率最高的拓扑，而非适合每个查询的拓扑，因此在一个任务上的收益可能以另一个任务为代价3。 4. 后训练中的多奖励信用分配 语言模型越来越多地同时针对多个可验证奖励训练（如工具调用正确性与格式、复杂指令的各项单独约束）4。奖励解耦归一化（GDPO）对每个奖励分别归一化，使不同奖励组合保持各自不同的优势，但仍将每个奖励的优势均匀分摊到整个回复上，尽管每个验证器只检查少数几个位置4。MRTPO 利用各奖励验证器所检查的信息，将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注；对每个奖励，策略在包含和不包含该奖励验证器信息的情况下分别重放自身回复，并通过两次下一 token 分布之间的逐 token Jensen-Shannon 度量进行分配4。说明：以上四条资料分别聚焦智能体集群编排、MLE 智能体、MAS 拓扑生成与多奖励 RL，均未提供 post-training 的通用定义、阶段划分（如 SFT/RLHF/DPO）或主流工具链信息，因此无法就「post-training 是什么、怎么做」给出完整回答。

继续追问

MPT 的「出价」机制具体如何把集体结果转化为局部训练信用？PRISM 如何为同一查询下的多个拓扑引入偏好信号以改进后训练？MRTPO 的逐 token Jensen-Shannon 分配与 GDPO 在实现上有哪些差异？

参考来源

4 条

1站内去中心化智能体集群的自编排学习智能体集群的能力既取决于其个体成员，也取决于它们如何协调。然而，现有的多智能体系统往往在固定的编排结构内训练智能体，将个体能力的学习与集体行为的组织割裂开来。我们提出基于市场的后训练（market-based post-training，MPT），这是一个用于在去中心化智能体集群中联合学习动作策略与自我编排的框架。智能体通过出价（bid）表达其参与意愿，出价决定了谁采取行动，以及集体结果如何提供局部训练信用（training credit）。同时学习动作行为与出价行为，使得个体能力与参与模式能够在没有中心协调智能体的情况下共同适应。我们在具身制作（embodied crafting）、机器人导航和深度研究任务上评估了 MPT。结果表明，相较于单体式后训练（monolithic post-training）取得了Hugging Face Papershttps://huggingface.co/papers/2610.22322 2站内MLExpert：面向自主机器学习工程的通用智能体模型大语言模型（LLM）正从辅助科学研究和工程，扩展到自主开发并改进 AI 系统，推动 AI for AI（AI4AI）成为通向递归自我改进（RSI）的一条路径。工作流驱动的机器学习工程（MLE）系统通过管理长时程实验的复杂编排，为这一追求提供了切实可行的路径；而近期的 MLE 系统采用模型主导的交互方式，使模型能够自主组织实验，并基于执行反馈调整优化策略。然而，每次实验的反馈都反映了此前的若干决策，而一次长时间的 MLE 运行包含许多此类高成本的实验。因此，训练必须从长交互轨迹中筛选出有用的监督信号，并从中间结果中学习。我们提出一种面向自主长时程 MLE Hugging Face Papershttps://huggingface.co/papers/2610.22344 3站内PRISM: PRIvileged Sibling-guided Multi-Agent Topology DesignarXiv:2610.20628v1 公告类型：新摘要：基于大语言模型（LLM）的多智能体系统（MAS）已成为解决复杂问题的有力方式，其有效性关键取决于协作拓扑——即决定哪些智能体参与以及它们如何通信的拓扑结构。近期工作从任务查询中学习生成该拓扑，将生成器拟合到经过执行验证的图语料库上。此类生成器的后训练方法仍存在局限：语料库只列出解决了某个查询的图，却从不为其排序，使得持续监督微调（SFT）无法利用任何针对单个查询的偏好信号。缺乏这种偏好，生成器会偏向语料库中出现频率最高的拓扑，而非适合每个查询的拓扑，因此在一个任务上的收益可能以另一个任务为代价。我arXiv cs.CLhttps://arxiv.org/abs/2610.20628 4站内多奖励强化学习的奖励相关token级信用分配语言模型越来越多地同时针对多个可验证奖励进行训练，例如工具调用的正确性与格式，或复杂指令的各项单独约束。奖励解耦归一化（GDPO）对每个奖励分别进行归一化，使不同的奖励组合保持各自不同的优势，但它仍然将每个奖励的优势均匀地分摊到整个回复上，尽管每个验证器只检查少数几个位置。我们提出 MRTPO，它利用各奖励验证器所检查的信息，将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注。对于每个奖励，策略在包含和不包含该奖励验证器信息的情况下分别重放自身的回复，并通过两次下一 token 分布之间的逐 token Jensen-ShaHugging Face Papershttps://huggingface.co/papers/2610.21439

AI 答案正在检索与综合…

站内相关条目

4 条 · 点击可看原文全文与中文译文

返回信息流

去中心化智能体集群的自编排学习

论文提出基于市场的后训练框架MPT，让去中心化智能体集群通过竞价机制联合学习动作策略与自编排，无需中央协调者。在具身制作、机器人导航和深度研究任务上优于单体后训练，且支持复用、扩展与抗掉线鲁棒性。

Agent·Hugging Face Papers·4 天前

#agent

MLExpert：面向自主机器学习工程的通用智能体模型

论文提出面向长周期机器学习工程优化的后训练方法，训练出35B MoE智能体模型MLExpert，通过分层智能体SFT与窗口交互强化学习，在MLE-Bench Lite上将奖牌率从37.9%提升至72.7%，接近更大前沿模型水平。

Agent·Hugging Face Papers·4 天前

#agent

PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design

PRISM 提出一种面向 LLM 多智能体系统的拓扑生成后训练方法：利用同一查询下另一个已验证可行图作为"特权兄弟"信息，通过零初始化低秩分支让教师模型提供逐决策监督，使学生模型学到查询级偏好，避免 SFT 偏向语料高频拓扑。在六个基准上优于现有拓扑设计基线。

Agent·arXiv cs.CL·4 天前

#multi-agent

大模

多奖励强化学习的奖励相关token级信用分配

针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。

大模型·Hugging Face Papers·4 天前

#rl