Causal Syntax Circuits in CodeLMs: Budget and Probe Decide What Looks Localised

arXiv:2610.20683v1 公告类型：新

摘要：当提示词没有指明使用哪种语言时，代码模型会写 Python。我们针对这一习惯提出一个机制性问题：它是否由模型内部一小群可找到的组件产生？我们在 55 个模型-语言设置上运行了一条流水线——均值消融、激活修补、贪心电路提取、随机对照显著性检验以及激活引导——这些设置涵盖十个开源代码模型（五个基座模型和五个指令微调模型）、三种目标语言（Rust、C#、PHP）、两套提示词套件以及两种组件预算。我们报告五项发现。第一，该偏好很强，随模型规模增大而增强，并且在指令微调后依然存在：它在每个指令微调检查点上都大于其基座版本，平均高出 12%。第二，其测得的强度在很大程度上是探针（probe）的属性；将我们对齐的提示词替换为 XLCoST 平行函数后，在相同模型上的同一测量从约 1.6 降至约 0.01。第三，该偏好看起来是否局部化，取决于搜索允许保留多少个组件：在预算为 12 时，15 个设置中有 1 个得到的电路在多重比较校正后优于规模匹配的随机对照；在预算为 40 时，15 个中有 6 个如此。第四，较小预算的研究报告为一致失败的干预，有时确实会成功：激活修补使 Python 提示词在 45 个设置中的 2 个里偏好目标语法，激活引导在 45 个设置中的 9 个里改变了最可能的下一个 token。第五，每一个效应显著但指向目标语言之外的电路，都来自电路提取失败的设置，这使得此类结果成为一种诊断信号，而非一种现象。实践层面的教训是：关于某一行为是否局部化的论断，可能取决于论文很少报告的分析选择。我们发布了完整的网格，以便这些选择可以被改变。