部署与算力Hugging Face Papers4 天前
Velox用空间记忆加速视频世界模型
Velox是一种免训练的注意力路由方法，利用流式几何中的视锥板对应关系做区域级上下文选择，将历史块表示为带深度区间的相机视锥板，从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍，WBench导航任务精度仅差0.15分，让长视频世界模型交互更实时。
已过时译★ 15
AI 与各行业落地的前沿信号寻行业之脉
寻行业之脉
接真实之需
每日自动追踪全球权威信源，模型生成中文摘要与有效期判断，人工抽检把关。 不追热点，只留经得起推敲的那一部分。
249
累计条目
0
今日新增
12
权威信源
采集中每日 02:00 · UTC+8
L1 摘要
全量
L2 深度
0
人工抽检
每日
按领域浏览
AI 与可被 AI 赋能的行业方向，每个领域独立成脉
筛选结果
共 4 条符合条件
当前筛选#attention×
大模型Hugging Face Papers4 天前
DK-VLM用几何位置增强视觉语言模型空间推理
DK-VLM提出双核注意力机制，将3D几何位置而非重建特征直接注入注意力计算，并引入参考系组合监督训练模型跨视角更新空间判断。在六个空间基准上取得最高平均分，VSI-Bench达74.33，同时保持通用视频理解能力。
大模型arXiv cs.LG4 天前
Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States
该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。
大模型arXiv cs.CL4 天前
Verdict: Encode Once, Decide Many
Verdict-MQ 提出一种共享状态编码器：对同一份输入只编码一次，用结构化注意力掩码让状态表示与问题无关、问题之间互不影响、选项顺序无关，从而一次回答多个类型化决策问题。395M 模型在类型化决策基准上优于 421M 专用模型，但 RACE/BoolQ 上不及微调基线。