部署
Velox用空间记忆加速视频世界模型
Velox是一种免训练的注意力路由方法,利用流式几何中的视锥板对应关系做区域级上下文选择,将历史块表示为带深度区间的相机视锥板,从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍,WBench导航任务精度仅差0.15分,让长视频世界模型交互更实时。
部署与算力·Hugging Face Papers·5 天前
先用站内已采集内容作答;站内不足时联网检索,每条结论都给出来源链接
1 条 · 点击可看原文全文与中文译文
Velox是一种免训练的注意力路由方法,利用流式几何中的视锥板对应关系做区域级上下文选择,将历史块表示为带深度区间的相机视锥板,从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍,WBench导航任务精度仅差0.15分,让长视频世界模型交互更实时。
现有资料不足以回答该问题。资料中未给出 Velox 注意力路由把 KV 缓存压缩到的具体比例,也没有与「四分之一保留率」这一基线做精度对比的数据。 资料中能确认的相关信息只有:
也就是说,资料只提供了加速比和绝对精度差,没有提供 KV 缓存压缩比例,也没有提供与其他保留率(如 1/4)的对照实验。若需要这两个数字,建议查阅原论文正文中的缓存占用/保留率消融部分。