DK-VLM用几何位置增强视觉语言模型空间推理
DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models
中文摘要
由模型生成 · 人工抽检DK-VLM提出双核注意力机制，将3D几何位置而非重建特征直接注入注意力计算，并引入参考系组合监督训练模型跨视角更新空间判断。在六个空间基准上取得最高平均分，VSI-Bench达74.33，同时保持通用视频理解能力。
全文
已译中文视觉语言模型在跨视角理解3D空间关系以及随观察者移动更新空间判断方面仍存在困难。一种常见方法是将3D重建特征融合进视觉token，但在有限空间监督下，将这些特征与预训练语义表示对齐仍然具有挑战性。我们提出DK-VLM，采用双核注意力（Dual-Kernel Attention），同时基于视觉token的输入位置和其在场景中的几何位置计算注意力。语义核保留预训练模型原生的注意力和位置编码，而独立的几何核利用估计的3D点和相机位姿，通过点位移和相对视角变换直接调制注意力。随后，一个学习到的门控融合二者的输出。由此，几何以位置的形式进入注意力，而非作为融合的重建特征。我们进一步引入参考系组合（Reference-Frame Composition，RC）监督，训练模型在连续判断中更新其参考系。它提供由经过验证的单步标注推导出的逐步转向和朝向目标。在所比较的方法中，DK-VLM-8B在六个空间基准测试上取得最高平均分，并在VSI-Bench（74.33）和ReVSI-32（58.28）上取得最高总分。RC监督进一步提升了多步空间推理能力，而完整模型保留了通用视频理解能力。项目页面：https://sumuru789.github.io/DK-VLM-website/。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。