DK-VLM用几何位置增强视觉语言模型空间推理
DK-VLM提出双核注意力机制,将3D几何位置而非重建特征直接注入注意力计算,并引入参考系组合监督训练模型跨视角更新空间判断。在六个空间基准上取得最高平均分,VSI-Bench达74.33,同时保持通用视频理解能力。
每日自动追踪全球权威信源,模型生成中文摘要与有效期判断,人工抽检把关。 不追热点,只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向,每个领域独立成脉
共 5 条符合条件
DK-VLM提出双核注意力机制,将3D几何位置而非重建特征直接注入注意力计算,并引入参考系组合监督训练模型跨视角更新空间判断。在六个空间基准上取得最高平均分,VSI-Bench达74.33,同时保持通用视频理解能力。
Google Research 发布 ScreenAI,一个 5B 参数的视觉语言模型,基于 PaLI 架构并采用 pix2struct 灵活分块策略,专门理解 UI 界面和信息图。通过自监督预训练与人工标注微调,在 WebSRC、MoTIF、ChartQA、DocVQA 等任务上达到同规模最优,并开源三个新数据集。
提出基于记忆的主动机器人框架,用程序化辅助记忆(PAM)以有限状态机记录活动阶段与辅助规则,VLM 任务预测器结合当前观察决定何时辅助及执行何种任务,VLA 执行器完成任务,反思 VLM 每日更新记忆无需重训。5 天桌面辅助实验中精度、召回与 F1 持续提升,首次触发延迟从 5 秒降至 1 秒。
TGrasp6D 提出一种基于视觉语言模型的零样本任务导向 6DoF 抓取方法:根据任务与单张 RGB-D 图像推理语义可供性生成初始抓取先验,再通过 6DoF 位姿优化避免碰撞并保持任务一致性。在 TaskGrasp 数据集上成功率达 94%,远超基线 74%,并在 Franka 机器人上验证了真实世界零样本泛化能力。
提出 CNRF 框架,通过构建上下文匹配的良性-有害反事实对,将表征差异作为风险方向,并独立估计邻域支持度,从而区分'不熟悉'与'有害',实现选择性干预而非一刀切拒绝。在三个 VLM 和五类多模态越狱攻击上达到 86.06-89.30% 宏观防御成功率,同时保留良性任务效用。