FDE-Gym：AI交付最后一公里基准

现有智能体基准测试通常基于问题报告、规格说明或任务工单所定义的、描述完备的任务来评估智能体。而真实世界的客户交付则不同：前置部署工程师（FDE）必须澄清模糊的需求、在真实运行系统中工作，并发现未被明说的约束条件。我们提出 FDE-Gym，这是一个包含 95 个端到端交付任务的基准测试，任务来自 18 个行业、20 个客户场景，每个任务均由行业专家根据真实交付项目改编而成。在配有脚本化利益相关方和可修改客户系统的模拟客户环境中，智能体与利益相关方交互，并在类生产系统上操作，以交付可用的解决方案。FDE-Gym 根据交付对客户自身成功指标的改善程度进行评分，分值归一化到 0（系统未改变）到 1（参考解决方案）之间，并对与利益相关方的交互（消息、试运行和等待时间）施加惩罚。一个在线平台让人类在相同的评分标准下练习 FDE 技能。我们评估了来自 7 家提供商的 13 种模型配置。在必须发现未明说约束条件的真实设定下，最佳配置取得 0.56 的平均 FDE-Gym 分数，且仅解决了 95 个任务中的 14 个（分数至少为 0.8 且无事故）。发现未明说的约束条件是主要瓶颈：当模型必须在没有明确指引的情况下自行发现这些约束时，性能急剧下降。然而，仅靠信息发现并不能解释这一差距：即便在最佳配置从利益相关方处获得全部关键事实的 23 个任务上，它也仅在 10 个任务上达到 0.8 或以上的归一化业务提升。这些结果揭示了在解决描述完备的任务与为真实客户交付有效 AI 系统之间存在显著差距。