When Reasoning Traces Conflict with Evidence: How Answer Configuration Shapes Evidence Following

arXiv:2610.20805v1 公告类型：新

摘要：在回答时保留的推理轨迹扮演两种角色：它可以提高准确率，也可以在两者不一致时与当前证据相竞争。我们通过将经过验证的证据版本与由每个版本生成的轨迹进行交叉，并在两种配置下基于相同的轨迹和证据作答来厘清这两种角色：延续模型自身的思考，以及单独的答案调用。在三个模型家族（gpt-oss、Gemma4、Qwen3）上，于 HotpotQA 和 MuSiQue 数据集，单独的答案调用相比延续将证据遵循度提高了 29.9 至 60.6 个百分点。在相同的配对上，移除轨迹在两种配置下都会使准确率下降相似的幅度。然而，延续在大多数冲突中重复了过时的结论，而单独的答案调用则远更频繁地遵循当前证据。因此，从轨迹中获益与服从轨迹是两种不同的属性。进一步的分析表明，轨迹的最后一行承载了其大部分价值，金标准证据在轨迹写入之前帮助最大，干扰项会削弱单独答案调用下的纠正效果，而重新推理与验证指令不同，在大多数冲突中会遵循当前证据。由于仅删除轨迹无法揭示答案遵循的是哪个来源，评估应同时报告这两种属性以及答案配置。