MLExpert：面向自主机器学习工程的通用智能体模型

大语言模型（LLM）正从辅助科学研究和工程，扩展到自主开发并改进 AI 系统，推动 AI for AI（AI4AI）成为通向递归自我改进（RSI）的一条路径。工作流驱动的机器学习工程（MLE）系统通过管理长时程实验的复杂编排，为这一追求提供了切实可行的路径；而近期的 MLE 系统采用模型主导的交互方式，使模型能够自主组织实验，并基于执行反馈调整优化策略。然而，每次实验的反馈都反映了此前的若干决策，而一次长时间的 MLE 运行包含许多此类高成本的实验。因此，训练必须从长交互轨迹中筛选出有用的监督信号，并从中间结果中学习。我们提出一种面向自主长时程 MLE 优化的后训练方法，并将其用于训练 MLExpert——一个 35B 的混合专家（MoE）智能体模型。我们设计了 Kaggle-MLE Factory，用于构建可执行任务以及面向模型主导实验的交互 harness。分层智能体 SFT 通过结果引导的监督，将通用工具使用与编码能力迁移至 MLE。窗口化交互 RL（WIRL）将相邻两次实验结果之间的多轮决策视为一个执行窗口，并为其分配共享的基于结果的奖励。异步收集与策略校正支持在轨迹结束前进行策略更新。在 MLE-Bench Lite 上，MLExpert 将基座模型的平均奖牌率从 37.9% 提升至 72.7%，达到与 Kimi-K3、GLM-5.3 等更大规模前沿模型相当的性能。进一步实验表明，MLExpert 在 NatureBench Lite、智能体 scaffold 优化和算法优化上均有性能提升，表明所学到的优化能力可泛化到其他任务。