Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM

arXiv:2610.20634v1 公告类型：新

摘要：检索增强生成在高并发下只问一个问题：这条证据是否支持这条主张？答案只有一位，但大多数流水线却从文本生成器获取它，并为围绕它生成的文字支付生成式价格。我们将一个非生成式决策模型——它从声明的枚举中返回类型化取值，附带原生概率且不输出文本——与一个按工程师部署二分类任务的方式配置的前沿 LLM 进行对比。两者对来自 LLM-AggreFact 的同一批 495 条人工标注主张作答，因此每次比较都是同项比较。我们报告三件事。第一，在这个任务惯常采用的评分指标上，两个系统在统计上无法区分，配对差异为 -0.56 分（Jev 减 Astra），而成本相差 187 倍。第二，这一持平几乎不携带任何关于部署的信息：两个系统在 15.2% 的主张上不一致，较便宜的那个放行了 23.2% 被标注者标记为不支持的主张，而前沿模型为 14.1%。一个职责是捕捉不支持主张的组件，应当按这一比率来评判，而惯常的头条指标掩盖了它。第三，由于错误不同，它们可以组合：将便宜模型有信心的主张路由给它、其余升级，可达到 74.10，每千条主张花费 USD 2.92，而对比方案为 73.83、花费 USD 8.93，阈值在折外选取。但在样本内阈值下、以掷硬币方式花费相同预算的匹配随机升级对照，表现同样好，因此换来节省的是升级比例，而不是决定升级哪些主张的概率。以它所构建于其上的便宜模型为参照，级联的成本高出 61 倍，换来 0.83 分，95% CI [-3.36, 4.86]，而且它是两者中更宽松的守卫。相等的准确率掩盖了不相等的错误。所有预测、提示词、定价与代码均已发布。