ToolBottleneckBench 是一个评测工具型 Agent 的基准，在固定 harness 预算下分别施加工具目录、可见菜单、认证流程、返回编码四类压力，并精确记录首个未满足义务与触发限制。发现可见菜单是唯一对模型造成大惩罚的压力，且与完成上限截断相关；多数失败源于 harness 限制。值得关注的是它揭示 Agent 表现受运行框架预算影响，需一并报告。

#agent #tool-use

已过时译

大模型arXiv cs.CL4 天前

A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

该论文提出将语言模型集成视为"陪审团"而非"选民"：每个专家的可靠性未知，通过EM算法仅从无标签的答案一致性模式中估计各专家可信度，决策规则等价于对数几率加权的线性打分。在1560题基准上，9个最大3B参数专家的无监督融合效果与有标签拟合权重相当，并优于最佳单模型和最强无标签基线，为无标注场景下的模型集成提供了可靠方案。

#llm #ensemble

已过时译

行业落地arXiv cs.CL4 天前

Multimodal AI Detection for Math-Heavy Scientific Text

研究指出仅靠PDF文本的AI检测器在数学密集内容上准确率大幅下降，而LaTeX格式信息可显著提升检测效果。作者提出基于截图的图像检测器SnapJudge，在0.1%误报率下对证明和正文的检测率达92%和93%，优于Pangram 4，并开源数据、模型与代码。

#ai-detection #multimodal

已过时译

其他arXiv cs.CL4 天前

SHIP: Structured and Hierarchical Insight with Privacy

SHIP 提出将差分隐私洞察形式化为可复用的分析查询表示，通过自动映射查询属性、构建分层混合分类体系并发布 DP 合成表，解决隐私保护下洞察效用难以评估比较的问题。实验显示其在问答性能与结构保真度上优于现有基线，为隐私数据分析提供统一评估基准。

#differential-privacy #data-analysis

已过时译

行业落地arXiv cs.CL4 天前

PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

提出 ReviewFact 基准与 PremiseCheck 框架，用于检测人类或 AI 审稿意见中对论文内容的事实性误述。做法是让 LLM 将评论改写为显式前提，再用廉价判定模型逐条对照论文核验，在 NLP、机器学习与自然科学三个领域以约一半成本达到前沿 LLM 的准确率。

#fact-checking #peer-review

已过时译

AgentarXiv cs.CL4 天前

ReviewPilot: A Multi-Agent System for Screening and Data Extraction in Systematic Reviews

ReviewPilot 是一个面向系统综述 PRISMA 流程的多智能体系统，通过对话定制筛选标准与抽取模式，并保留项目记忆，实现论文筛选与证据抽取的自动化。每条筛选决策附理由、每个抽取值附来源，在流行病学专家评审中优于单提示 LLM 与 AgentSLR，筛选宏 F1 达 0.776、抽取 F1 达 0.788，值得关注其可追溯性与跨领域迁移潜力。

#multi-agent #llm

已过时译

大模型arXiv cs.CL4 天前

Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

论文提出参数轨迹交叉编码方法，仅用检查点权重追踪语言模型预训练中反嵌入矩阵（读出层）的演化。发现Pythia预训练0.4-1.1%处读出层重组，而隐藏状态早已编码任务信息，说明行为时间线可能只反映读出层学会表达的时刻，而非模型真正习得能力的时刻。

#interpretability #pretraining

已过时译

大模型arXiv cs.CL4 天前

Can LLMs Anticipate Their Cruxes?

论文研究如何从语言模型输出中提取影响决策的关键子问题（cruxes），提出三种成本递增的策略：先验询问、单次推理后提取、多次采样对比提取。实验发现前两种廉价方法均不足以识别完整关键因素，高 stakes 决策仍需多次采样，但可用 reranker 将成本降至 judge 的约 1/86。

#llm #interpretability

已过时译

大模型arXiv cs.CL4 天前

One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

该论文提出用池化选择率标准差（pooled SD）统一衡量多选题的选项偏差，并将其分解为翻转率与位置偏斜两个无标签因子。在41个检查点和12个基准上，先验校正主要降低位置偏斜，顺序聚合主要降低翻转率，但聚合可能让模型稳定选错。建议同时报告两个因子以区分缓解手段的效果。

#llm #evaluation

已过时译

AgentarXiv cs.CL4 天前

Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents

该研究系统评估语义层、编排与压缩三种上下文工程技术在数据智能体中的效果，覆盖7个LLM、5个基准的1514个长周期任务。发现无CET的智能体分为调查者、过早作答者和早停者三类，CET仅对匹配的行为类型提升准确率，对调查者反而有害，为按行为选择CET提供指导。

#llm #agent

已过时译

AgentarXiv cs.CL4 天前

Prune the Summary, Not the History: Source-Judged Compaction for Long-Horizon Agents

论文指出长程LLM智能体的上下文压缩摘要会混入压缩器自身的推理，智能体无法区分事实与臆测，83%失败源于执行了无环境依据的摘要条目。作者提出免训练的Source-Judged Compaction（SJC），用非生成式判定模型Jev为每条摘要打分并剔除无来源条目，在AppWorld和OfficeBench上提升2.1%-8.9%可靠性且不增加token消耗。

#agent #context-compaction

已过时译

大模型arXiv cs.CL4 天前

Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog

论文用他加禄语中缀（如 s-um-ulat）做对照实验，构建 MorphAustro-Tok 分词器把词根作为连续单元输出，并与 BPE 及打乱语素的对照比较。结果显示形态正确性本身在 33 次运行中未带来可检测增益，收益主要来自词根连续化而非语言学正确的切分，对类型学感知分词器的动机提出质疑。

#tokenization #nlp

已过时译

行业落地arXiv cs.CL4 天前

PEDBench: Can Speech Models Detect Phonetic Errors?

PEDBench 是首个音素级错误检测基准，涵盖儿童真实发音错误、演员脚本错误和 TTS 合成错误三类数据，由两名语音标注员校验。评测 13 个主流语音模型发现其检测精度低、误报率高，即使受控条件也不可靠；基于合成数据微调的语音语言模型在词级 PED 上超越商业与开源基线，但仍存在仿真到真实的域差距。

#speech #benchmark

已过时译

大模型arXiv cs.CL4 天前

CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation

CoTranslator 提出一种反向到正向的思维链翻译器，用于推理蒸馏。它先用已知答案生成廉价的反向 CoT，再学习将其翻译为接近经拒绝采样验证的正向 CoT 分布，从而在保持学生无答案推理一致性的同时降低教师调用成本。在六个数学基准上平均准确率最高提升 5.82 个百分点，4B 学生以约 36% 算力保留 95% 拒绝采样精度，并可零重训迁移到新数据集、教师和 STEM 任务。

#reasoning-distillation #chain-of-thought

已过时译

大模型arXiv cs.CL4 天前