大模型arXiv cs.AI4 天前
Evaluating Model Capabilities After Benchmark Saturation
论文研究基准饱和后如何继续评估模型能力：利用模型解题的完整转录文本而非仅分数。通过历史数据模拟饱和，发现配对评判法预测误差比仅用饱和分数降低5.3倍，信息集中在推理与工具调用等通道，但跨分布迁移时预测力不稳定。
AI 与各行业落地的前沿信号寻行业之脉
寻行业之脉
接真实之需
每日自动追踪全球权威信源，模型生成中文摘要与有效期判断，人工抽检把关。 不追热点，只留经得起推敲的那一部分。
249
累计条目
0
今日新增
12
权威信源
采集中每日 02:00 · UTC+8
L1 摘要
全量
L2 深度
0
人工抽检
每日
按领域浏览
AI 与可被 AI 赋能的行业方向，每个领域独立成脉
筛选结果
共 20 条符合条件
当前筛选#benchmark×
AgentarXiv cs.AI4 天前
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock
论文提出 RealtimeBench 基准，含 180 个任务、六类游戏，在推理持续进行时评估 LLM 智能体，发现慢而强的模型在游戏暂停时占优、实时运行下反被快模型超越。作者提出 TORSI 双时间尺度离线递归自改进：慢教师离线分析失败并生成可复用指令，快学生在线执行，两轮将 Jev 平均分从 13.51 提升至 24.19，并可迁移到其他模型。