寻行业之脉
接真实之需

One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

该论文提出用池化选择率标准差（pooled SD）统一衡量多选题的选项偏差，并将其分解为翻转率与位置偏斜两个无标签因子。在41个检查点和12个基准上，先验校正主要降低位置偏斜，顺序聚合主要降低翻转率，但聚合可能让模型稳定选错。建议同时报告两个因子以区分缓解手段的效果。