Evaluating Model Capabilities After Benchmark Saturation

arXiv:2610.20667v1 公告类型：新

摘要：AI 能力的快速进步正在导致基准测试饱和。一旦多个模型接近满分，基准测试就失去了区分它们的能力，也随之失去了为 AI 安全论证和前沿政策提供依据的效用。然而，基准测试题目所产生的信息远多于我们通常从中提取的分数：每个模型如何解决任务的完整记录。我们研究这些记录能否在基准测试分数饱和之后仍用于评估模型能力。我们利用历史基准测试和模型发布版本回溯性地模拟饱和，并检验那些仅访问饱和基准测试中正确解答记录的协议，能否预测在留出的、未饱和题目上测得的能力。我们评估了从模型记录中提取信息的代表性当代方法：成对评判、单记录绝对评分，以及基于确定性记录特征或向量嵌入的预测。我们发现，饱和的记录保留了超出基准测试准确率的能力信息。在我们评估的协议中，成对评判表现最佳，与仅使用饱和基准测试分数的基线相比，将预测误差降低了 5.3 倍。这种与能力相关的信息分布在记录的各个部分，但集中在特定信息通道中，例如推理和工具调用。然而，协议的预测能力并不总能跨分布偏移泛化——例如，会低估 2025 年初引入的首批推理模型的能力。因此，饱和的基准测试在其任务记录中保留了预测能力的信号，但要延长现有基准测试的寿命，需要设计能够稳健提取这些信号的方法。