Grid-Bench：评估LLM预测离散空间状态变化能力

空间指令描述如何移动对象、变换区域或修改其周围环境。当多个操作按顺序应用时，每个操作都作用于由先前变化所塑造的配置。大语言模型（LLM）能多准确地预测由此产生的空间状态？我们提出 Grid-Bench，这是一个可执行的基准测试，其中八类操作对以二维、三维和四维网格表示的离散世界进行变换。给定初始网格、显式规则以及以文本形式表达的事件历史，模型预测完整的最终网格。参考执行使每个预测值都可校验，支持跨空间操作、历史长度和工作负载的比较。对六个 LLM 的评估表明，随着历史增长，完整状态准确率急剧下降，而在单个事件上表现相似的模型之间存在显著差异。然而，在共享实例上具有相似精确匹配准确率的模型，其错误单元格数量可能差异很大。即使在长历史条件下，一些模型仍能恢复许多正确的变化，超出复制初始状态所能得到的结果。Grid-Bench 使完整恢复以及返回状态中的这些差异在一系列空间条件下都可直接度量。