AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks

arXiv:2610.20675v1 公告类型：新

摘要：智能体将推理模型与执行框架（harness）配对，后者负责组织模型调用、执行工具、加载技能指令并在内存中保留历史记录。理解智能体的性能需要将执行条件与结果、行为和资源使用关联起来。我们提出 AlphaDiana，一个具有模块化接口的测量系统，其接口涵盖数据集、智能体、环境和评分器。它保留执行框架原生的控制循环，同时分别控制文件复用和内存保留。AlphaDiana 支持对完整智能体进行宏观分析，也支持在匹配条件下对智能体组件（如工具、技能和内存）进行微观干预。我们在五个基于答案的基准测试上研究了三个开源模型和三个开源执行框架，其中两个模型还在两个交互式基准测试上进行了测试。我们发现，执行框架并不能持续提升推理的准确率：在模型单独无法解决的问题上获得的增益，可能被其在无需工具即可正确回答的问题上的损失所抵消。这种不一致性延伸到了组件干预：无论是技能指导还是保留历史，都不能可靠地提升准确率。行为和输出 token 的使用必须结合正确性来评估：低 token 熵可能伴随错误答案，而当准确率下降时，每次执行输出更少可能意味着每个正确答案消耗更多输出 token。AlphaDiana 将答案正确性和执行状态与追踪记录和资源记录关联起来，以便在共享的任务和资源策略下比较智能体并诊断失败。