Evolving Together, Failing Apart: The Skill-Policy Co-evolution Trap in Self-Improving Agents

arXiv:2610.20845v1 公告类型：新

摘要：技能-策略协同演化，即智能体的策略模型与其技能库在训练过程中相互促进，是自我改进型智能体的一种颇具前景的范式。当前的评估方式是在协同演化后的策略所训练时使用的最终技能库（即交付技能库）上对其打分。然而在部署之后，技能被重写、添加或移除的频率可能高于策略模型重新训练的频率，导致策略不得不在一个漂移的技能库上运行，而这一情形既未被训练目标所涵盖，也未被现有评估协议所涵盖。本文首先通过理论与实证分析确立：这一盲区所掩盖的脆弱性并非偶然。这些方法共用的接受规则（协作式接受）将策略的能力绑定在其协同演化时所依赖的技能库上，因此一旦技能发生漂移，无论具体实现如何，策略都会变得脆弱；实证表明，对技能漂移的敏感性随着协同演化训练的推进而增长。为此，我们提出 CO-evolution Drift Audit（CODA），一种面向部署的评估协议，它模拟技能漂移，并在最坏情况漂移下的成功率之外，引入两个新指标：保义编辑下的一致性率，以及对损坏技能的抵抗率。在四种协同演化方法和五个基准测试（六种设置）上，最坏情况成功率比每个交付配对所测得的峰值低 5-13 个百分点，抹去了交付技能库相对于无技能基线所获增益的 52-93%。CODA 由此重新定义了协同演化的目标：从在协同演化技能库上的峰值性能，转向无论技能如何演化都能加以利用的能力，并提供了一个可供未来方法接受审计的共享标准。