Velox是一种免训练的注意力路由方法，利用流式几何中的视锥板对应关系做区域级上下文选择，将历史块表示为带深度区间的相机视锥板，从而抑制随 rollout 增长的 KV 缓存开销。在第48块时注意力加速4.36倍、去噪加速2.43倍，WBench导航任务精度仅差0.15分，让长视频世界模型交互更实时。

#world-model #video-diffusion

已过时译★ 15

部署与算力Google AI Blog4 天前

Graph neural networks in TensorFlow

Google 发布 TensorFlow GNN 1.0（TF-GNN），一个面向大规模图神经网络的生产级库，支持异构图的建模、训练与从大型数据存储中抽取输入图，并提供动态子图采样 API，便于将图结构信息融入深度学习系统。

#gnn #tensorflow

已过时译

部署与算力Google AI Blog4 天前

Advances in private training for production on-device language models

Google 分享 Gboard 端侧语言模型私有训练的进展：所有下一词预测模型均采用联邦学习并具备形式化差分隐私保证，覆盖 7+ 语言、15+ 国家，ε 低至 0.994，是已知最大规模用户级 DP 生产部署，对端侧 AI 隐私落地有标杆意义。

#federated-learning #differential-privacy

已过时译

部署与算力Google AI Blog4 天前

Croissant: a metadata format for ML-ready datasets

Google 与 MLCommons 联合发布 Croissant，一种面向 ML 数据集的元数据格式，基于 schema.org 扩展，统一描述数据资源、组织方式与 ML 语义，解决数据集表示各异、复用困难的问题。Kaggle、Hugging Face、OpenML 及 TFDS 已支持，并附带 RAI 扩展词汇。

#dataset #metadata

已过时译

部署与算力arXiv cs.LG4 天前

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

#speculative-decoding #long-context

已过时译

部署与算力arXiv cs.LG4 天前

O-RAN-Native Jamming Detection Under Network Heterogeneity

该论文提出统计集成方法SEM，利用O-RAN的E2接口KPI遥测实现无需专有硬件的射频干扰检测。SEM结合MAD基线、计数异常与突变检测加权投票，支持冷启动与监督两种模式。在8个异构5G环境约25小时数据上，SEM在分布偏移下仍保持检测能力，而ML/DL模型召回率下降，且可映射为Non-RT RIC的rApp持续优化。

#oran #jamming-detection

已过时译

部署与算力arXiv cs.LG4 天前

Selection-Safe Conformal Early Exit: Distribution-Free Coverage under Adaptive Depth

该论文解决早期退出（early exit）模型在自适应深度选择下 conformal 预测覆盖率失效的问题。提出基于前缀最大值的路径评分，只需一次 split-conformal 校准即可保证选择安全覆盖，无需 alpha/L 修正，且支持校准后动态调整预算。在多个编码器任务上覆盖率从 0.814 提升至 0.901，集合更小、延迟更低。

#conformal-prediction #early-exit

已过时译

部署与算力arXiv cs.LG4 天前

RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

RoLaQ 是一种面向多头潜在注意力（MLA）的离线校准方法，通过联合优化子空间旋转与量化范围，将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度，并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐，显著降低长上下文推理显存开销。

#kv-cache #quantization

已过时译

部署与算力arXiv cs.CL4 天前

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

#kv-cache #long-context

已过时译

部署与算力Hacker News (front page)4 天前