A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

arXiv:2610.21085v1 公告类型：新

摘要：语言模型集成是一个陪审团，而不是一个选民群体。答案来自可靠性未知的证人的证词，问题不在于多数人说了什么，而在于谁可信。大多数集成方法为每个专家分配固定的声誉，且往往是从标签中学习得到的。我们提出的问题是：能否改为从专家之间一致与不一致的模式中推断声誉。我们将专家建模为一个陪审团：每个问题都有一个潜在的正确答案，每个专家以未知的可靠性报告该答案，而这些可靠性仅从无标签的答案配置中通过期望最大化（EM）估计得到。我们证明，其决策规则可归结为对专家答案分布的对数几率加权线性得分。改变的不是陪审团如何投票，而是它如何学习该信任谁。在一个包含1560个问题的基准测试上，由最多3B参数的九个专家组成的陪审团，其表现与采用标签拟合权重的相同融合规则相当，表明监督并未带来统计上显著的优势。相反，它在完整基准测试上优于匹配自一致性设置的最佳单模型以及最强的无标签替代方案。