Sliced Wasserstein Sketches with Error Certificates
该论文研究一维概率测度在二次 Wasserstein 距离下的最优自由权重 M 原子量化,并通过切片扩展到高维,用 L 个共享投影得到 O(LM) 比较时间的草图。核心贡献是将平方距离误差精确分解为残差与划分失配项,给出可计算误差证书;最优草图在有限矩条件下达到 O(M^{-1}) 误差。实验显示其大幅降低存储并保持分类性能,可作为紧凑池化层端到端学习。
每日自动追踪全球权威信源,模型生成中文摘要与有效期判断,人工抽检把关。 不追热点,只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向,每个领域独立成脉
来自全球权威信源,模型摘要 + 人工抽检
该论文研究一维概率测度在二次 Wasserstein 距离下的最优自由权重 M 原子量化,并通过切片扩展到高维,用 L 个共享投影得到 O(LM) 比较时间的草图。核心贡献是将平方距离误差精确分解为残差与划分失配项,给出可计算误差证书;最优草图在有限矩条件下达到 O(M^{-1}) 误差。实验显示其大幅降低存储并保持分类性能,可作为紧凑池化层端到端学习。
该论文解决早期退出(early exit)模型在自适应深度选择下 conformal 预测覆盖率失效的问题。提出基于前缀最大值的路径评分,只需一次 split-conformal 校准即可保证选择安全覆盖,无需 alpha/L 修正,且支持校准后动态调整预算。在多个编码器任务上覆盖率从 0.814 提升至 0.901,集合更小、延迟更低。
该研究将多模态对比学习框架用于脑电想象语音解码,把EEG信号与冻结文本编码器的语言表征在嵌入空间中对齐,在Chisco数据集39类意图上取得与闭集分类器相当的性能,并支持相似度检索、可靠性排序与语义结构评估,为自然化脑机接口提供新路径。
提出 Optimal Hydra,一种面向 LLM 微调的模型异构联邦学习框架:结合全局层选择与客户端特定的注意力头选择,依据本地数据分布生成定制子网络 Hydra-nets,在降低客户端资源需求的同时提升性能,是该场景下首个模型异构 FL 方案。
该论文提出对抗性参数分解(VPD)方法,将语言模型参数拆解为简单子组件,使网络在大量子组件被对抗性消融后仍保持输入输出行为,从而支持对参数级计算机制的电路分析,推进机械可解释性研究。
论文提出垂直切片 Wasserstein 距离(VSW),用于比较观测本身即为概率测度的元测度(P(P(Ω)))。它用连续测试函数投影内层测度,再用一维 Wasserstein 距离比较,避免高维最优传输的高昂开销,并证明其为有效度量、可度量弱收敛且具维度无关的统计收敛性,还给出粒子梯度用于元测度的梯度传输。
该论文研究如何用预测分位数作为扩散预测器的分布控制信号,提出 Control-TS:冻结预训练扩散骨干,仅学习分位数控制通路,在去噪网络全程施加残差控制。八个基准上一致提升 CRPS,并引入 CLPS 评估生成轨迹的下游预测效用。
提出 ORL,一种面向扩散语言模型(DLM)的在线策略残差学习框架,通过熵收缩目标与异步残差捕获、块扩散注意力等系统协同设计,显著提升每前向 token 数与端到端吞吐。在 Qwen3-4B 转换的 4B DLM 上 TPF 提升至 6.2 倍、吞吐约 6.9 倍,单 H100 服务下速度-质量帕累托前沿优于 EAGLE3/DFlash 投机解码,并可迁移至 LLaDA-2.1-mini 与 DiffusionGemma。
RoLaQ 是一种面向多头潜在注意力(MLA)的离线校准方法,通过联合优化子空间旋转与量化范围,将 KV 缓存压缩至 2 比特。它在三个 MLA 模型、六个基准上取得同类 2 比特方法最高平均精度,并在 DeepSeek-V2-Lite 上实现 3.96 倍 KV 容量与 2.51 倍解码吞吐,显著降低长上下文推理显存开销。
该论文提出拓扑感知表示学习框架,将持续同调融入DMAE骨干网络,显式编码TPMS机械超材料的全局结构连通性。通过持续引导掩码和辅助同调解码器,在家族分类、力学性能分类、无监督聚类和回归任务上均取得提升,聚类性能最高提升51.5%,为复杂三维力学超材料的表示学习提供了有效的拓扑归纳偏置。
TurboMamba 提出一种混合架构:全局 Mamba-3 按 token 块运行,小型 Transformer 结合块内上下文预测下一 token,并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上,其测试 NLL 比 Mamba-3 低 9.4%,训练吞吐提升 2.6 倍,推理延迟降低约 3 倍。
研究稀疏自编码器(SAE)训练所需的数据量,发现功能指标(如重构)在小数据预算下即可接近全量参考,但特征一一复现性随数据持续提升,且随机采样优于多样性采样。该工作揭示数据效率与目标匹配的重要性,为更廉价可靠的 SAE 研究提供依据。
该论文研究中心化二次网络的谱摘要与标量学习曲线可辨识性,构造了具有相同高斯边缘分布和谱测度的输入密度,证明其损失曲线仍可区分,并给出样本复杂度与可辨识性条件。属理论性成果,为理解神经网络训练动力学与可辨识性提供数学基础。
KNOU-Flood 在 AIFL 开源配方基础上做受控扩展:保持单层 LSTM 与两阶段迁移学习,改用 424 天输入窗、lead-aware 预报输入、加入 GraphCast 作为第二预报源,并用 fair CRPS 训练隐噪声集成。在 2099 个流域上,LT1/LT10 中位 KGE' 达 0.65/0.48,优于基线,且揭示预报输入协议是 lead-time 衰减主因。
研究指出,RLVR 在域外任务(如数学训练后 MMLU 提升)上的增益很大程度是答案格式变化而非能力提升。用公开答案提取器评分时,82% 的域外选择题增益在改用能读取文本或 \boxed{} 的提取器后消失:RL 只是把答案移进提取器优先查找的框里。该发现提醒评测结果依赖提取器,可用二次评分低成本验证。
该论文将注意力指数核展开为截断泰勒级数,把因果历史压缩为固定数量的循环状态,实现线性时间注意力。在 N=8192 时提速 20.8 倍,解码延迟恒定,精度随阶数指数提升但成本组合增长,最优为二阶 n=3。