寻脉SEEKPULSE
发现热榜需求广场技术讨论工具箱信源
AI 答案正在检索与综合…

站内相关条目

3 条 · 点击可看原文全文与中文译文

返回信息流

Evo-DexBench: Benchmarking Generalization across Related Tasks for Dexterous Manipulation

Evo-DexBench 是面向灵巧操作策略泛化能力的新基准,基于 Core-Gen 原则控制源任务相关性与目标任务样本量,含 6 类功能族 30 个任务、1248 条多模态演示。实验显示最优方法平均成功率仅 38.5%,揭示现有方法难以迁移功能交互知识,为评估跨相关任务泛化提供标准化平台。

具身智能·arXiv cs.RO·5 天前

APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models

APRiL 是一个面向中文社会意识的开源评测基准,含 2196 个评测实例、六大类别与两项任务:社会情境分析与社会意识回应。它用实例专属评分标准弥补现有基准覆盖面窄的问题,并在 12 个模型上发现「理解强、回应弱」的稳定差距,为中文社交场景下的模型评估提供系统资源。

大模型·arXiv cs.CL·5 天前

Evaluating Model Capabilities After Benchmark Saturation

论文研究基准饱和后如何继续评估模型能力:利用模型解题的完整转录文本而非仅分数。通过历史数据模拟饱和,发现配对评判法预测误差比仅用饱和分数降低5.3倍,信息集中在推理与工具调用等通道,但跨分布迁移时预测力不稳定。

大模型·arXiv cs.AI·5 天前