ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets

arXiv:2610.21098v1 公告类型：新

摘要：工具智能体的成功得分既反映其模型，也反映运行它的harness的预算。我们提出ToolBottleneckBench，一个在受控压力和固定harness预算下衡量工具智能体性能的基准测试。合成企业任务保持固定，同时让一种压力变化：注册的工具目录、可见的工具菜单、认证的工作流，或返回记录的编码方式。一个精确的评分器记录每个失败回合中第一个未满足的义务，以及（若有）导致其结束的harness限制。在21种模型与harness配置中，可见菜单是三种压力中唯一对模型产生大幅惩罚的压力，且这一惩罚与在完成上限处的截断相关。将上限提高十六倍可消除截断严重配置中的大部分惩罚。大多数失败终止于某个harness限制，而失败记录对所指派压力的识别能力并不比工具调用计数更可靠。有效的修复措施改变了哪些工具能到达模型或由谁发起调用，且只有两项修复——二者均未改善模型行为——胜过所有配置切换。我们建议在报告压力效应时一并报告测量时所处的harness预算。我们在 https://github.com/zichuanxu/tool-bottleneck-bench 发布该基准测试。