Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents

arXiv:2610.20959v1 公告类型：新

摘要：在异构数据上回答问题意味着要结合来自文件、数据库、文档和网络的证据。数据智能体将这一过程自动化，但其成功取决于上下文。三种上下文工程技术（CET）通过塑造上下文提供帮助：语义层描述数据，编排在智能体之间拆分工作，压缩则浓缩交互历史。现有研究分别验证了每种 CET 单独使用的效果，但智能体行为如何影响其效果仍未有定论。我们对这三种 CET 进行了全面分析，既单独考察也组合考察，使用七个大语言模型（LLM），在来自五个基准测试的 1,514 个长时程任务上，覆盖行为、准确率和成本。我们发现，未使用 CET 的数据智能体会形成三种行为分组：调查者、未检查数据即作答的过早作答者，以及放弃的提前停止者。每种 CET 都能带来其已知的收益，从更多调查到更小的提示词，但只有与其匹配的行为分组才能将该收益转化为准确率，例如编排下的过早作答者。对于调查者，同样的 CET 反而可能造成损害：语义层使他们停止查看，编排使他们过度自信，损失 5 个百分点，压缩则使他们重复步骤。组合使用 CET 所产生的收益和损失均小于各自之和。我们据此得出依据智能体行为、任务需求和准确率-成本权衡来选择 CET 的指导原则。