AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料只能确认该 9.4% 优势的数据集与指标，无法确认完整的评测设置。

可确认的部分：TurboMamba 的测试 NLL 比 Mamba-3 低 9.4%，这一结果是在 FineWeb-Edu 数据集上、以测试 NLL（负对数似然）为指标得到的1。
同一摘要还给出配套的效率数据：训练吞吐提升 2.6 倍，推理延迟降低约 3 倍1。
无法确认的部分：资料未说明模型参数量/规模、训练 token 数、上下文长度、块大小、评测所用测试集切分方式、是否采用相同训练预算或相同超参配置等关键设置，因此无法判断该 9.4% 是在何种对齐条件下取得的。

结论：评测设置（数据集 FineWeb-Edu + 测试 NLL）可以确认，但完整实验配置现有资料不足以回答，需查阅论文正文的实验设置章节。

继续追问

TurboMamba 与 Mamba-3 的对比是否在相同参数量和相同训练 token 数下进行？TurboMamba 中块内 Transformer 的大小和块长度是如何选取的，对 NLL 影响多大？FineWeb-Edu 上的 9.4% NLL 优势在其他数据集（如 WikiText、Pile）上是否同样成立？

参考来源

1 条

1站内TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical MemoryTurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。arXiv cs.LGhttps://arxiv.org/abs/2610.20682

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

大模

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

大模型·arXiv cs.LG·4 天前

#mamba