EvolvingBrain: An Adaptive Skill System for Multi-modal Agents Self-Evolution in Open Worlds

arXiv:2610.20786v1 公告类型：新

摘要：多模态智能体在与开放世界交互方面已取得显著进展。然而，其自我进化能力仍然有限。监督微调能够实现模仿，但无法主动组织经验；而基于结果的强化学习虽能促进探索，却未能充分利用中间轨迹信息。因此，我们提出 EvolvingBrain，它使用自适应技能系统作为智能体自我进化的“大脑”，由以下两个组件构成。分层技能自我进化：从模型特定的轨迹中提取过程模式（Procedural Patterns）与问题模式（Problematic Patterns），通过生成技能来总结经验，并与开放世界进行多次交互以实现进化，最终形成由领域技能、计划技能与动作/陷阱技能组成的分层技能架构，为智能体提供多粒度知识库与一种新颖的进化方式。状态感知自适应执行：将长时程交互总结为结构化抽象记忆（Structured Abstractive Memory），并用其指导状态感知技能融合策略（State-Aware Skill Fusion Strategy），使智能体能够根据当前状态利用知识。在 VAB-Minecraft 与 DiscoveryWorld 上的实验表明，EvolvingBrain 提升了开放世界任务的成功率，并展现出泛化能力。我们的代码已在补充材料中提供，并将在正式版（camera-ready version）中公开发布。