大模
多奖励强化学习的奖励相关token级信用分配
针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。
大模型·Hugging Face Papers·4 天前
AI 搜索
带引用 · 可溯源先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接
AI 答案正在检索与综合…
站内相关条目
10 条 · 点击可看原文全文与中文译文
部署
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。
部署与算力·arXiv cs.CL·4 天前
大模
推测强制加速自回归视频生成
针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题，提出 Speculative Forcing 框架，将中间干净估计作为草稿，预测哪些 token 可提前接受并冻结，同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量，LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
大模型·Hugging Face Papers·4 天前
大模
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。
大模型·arXiv cs.LG·4 天前
大模
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
CoTS 提出一种免训练的隐式推理框架，用最高两个候选 token 的概率竞争动态调节离散承诺与软探索的强度，替代传统阈值硬切换，无需额外前向计算，在六个推理基准上优于标准 CoT 及现有免训练隐式推理方法。
大模型·arXiv cs.CL·4 天前
其他
What was a Token Ring network?
介绍令牌环网（Token Ring）这一早期局域网技术，由IBM推广，通过令牌传递控制节点访问，曾与以太网竞争，最终被以太网取代。属于网络基础历史知识，长期有效。
其他·Hacker News (front page)·4 天前
具身
Spark-0 用触觉预训练提升机器人灵巧操作
Spark-0 是空间对齐的视觉-触觉-语言-动作模型，预训练时用触觉手套接触图与 3D 几何教师监督视觉 token，推理时可去掉；同时发布 1000 小时 HumanTouch 数据集与 SparkArena 基准。保留触觉监督使纯视觉成功率从 52.5% 升至 71.7%，说明触觉可作为可扩展的预训练监督信号。
具身智能·Hugging Face Papers·4 天前
部署
Long-Context Drafting Does Not Require Long-Context Drafters
论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。
部署与算力·arXiv cs.LG·4 天前
大模
On-Policy Residual Learning for Diffusion Language Models
提出 ORL，一种面向扩散语言模型（DLM）的在线策略残差学习框架，通过熵收缩目标与异步残差捕获、块扩散注意力等系统协同设计，显著提升每前向 token 数与端到端吞吐。在 Qwen3-4B 转换的 4B DLM 上 TPF 提升至 6.2 倍、吞吐约 6.9 倍，单 H100 服务下速度-质量帕累托前沿优于 EAGLE3/DFlash 投机解码，并可迁移至 LLaDA-2.1-mini 与 DiffusionGemma。
大模型·arXiv cs.LG·4 天前
大模
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
论文用他加禄语中缀（如 s-um-ulat）做对照实验，构建 MorphAustro-Tok 分词器把词根作为连续单元输出，并与 BPE 及打乱语素的对照比较。结果显示形态正确性本身在 33 次运行中未带来可检测增益，收益主要来自词根连续化而非语言学正确的切分，对类型学感知分词器的动机提出质疑。
大模型·arXiv cs.CL·4 天前