AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 5 条来源 · 引用可点击溯源

现有资料不足以回答「小型 Transformer 在块内预测中承担多少参数比例」这一问题——5 条资料中只有 3 涉及该架构，但它没有给出任何参数量或参数占比数据。资料能确认的部分如下： 架构定位

TurboMamba 是混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正、近期词频混合三项轻量改进3。

去掉它后的性能与速度变化

资料未提供消融实验（ablation）结果，因此无法给出「去掉小型 Transformer 后」的性能与速度变化数据3。
只能确认整体架构相对 Mamba-3 的表现：在 FineWeb-Edu 上测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍3。这些数字是完整混合架构的收益，不能归因于块内 Transformer 这一组件。

结论：参数比例与去掉该组件后的性能/速度变化，均需查阅 3 原文的模型配置表与消融章节，现有摘要级资料不足以支撑。

继续追问

TurboMamba 原文是否给出了块内小型 Transformer 的层数、隐藏维度和参数量配置？TurboMamba 的消融实验里，去掉块内 Transformer 后 NLL 和吞吐分别退化多少？块内 Transformer 的上下文窗口大小（块长）如何影响 TurboMamba 的推理延迟？

参考来源

5 条

1站内SoftCache让扩散模型缓存步长自适应扩散模型与流模型通过迭代步骤生成样本，每一步都需要对大型网络做一次完整的前向传播，而这次前向传播主导了生成成本。免训练缓存通过复用近期评估中的激活值而非重新计算来加速这一过程。动态缓存方法将网络输入的一个廉价探针累积为陈旧度信号，当该信号越过阈值时便执行一次新的评估，以此决定何时刷新。这类方法执行的是硬缓存：信号是刷新与复用之间的二值开关，且每一步——无论新算还是缓存——都按规定的步长推进。我们观察到，该信号所承载的信息远不止这个开关。它低于阈值的幅度，即其余量（headroom），可以预测复用所引入的误差。我们提出 SoftCache，执行软缓存：不再Hugging Face Papershttps://huggingface.co/papers/2610.22369 2站内CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。arXiv cs.LGhttps://arxiv.org/abs/2610.20877 3站内TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical MemoryTurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。arXiv cs.LGhttps://arxiv.org/abs/2610.20682 4站内Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent StatesarXiv:2610.20637v1 公告类型：新摘要：我们将注意力的指数核展开为包含 $n$ 项的截断泰勒级数，并将每一项分解为张量幂内积，从而将因果历史压缩为恰好 $n$ 个循环状态，每个状态由每个 token 的一次秩一外积更新，且与上下文长度 $N$ 无关。该递推相对于截断核是无损的（float64 下为 $2.2 \times 10^{-16}$），且状态在分块之间可加（$5.7 \times 10^{-14}$），因此预填充可采用并行扫描。实测指数为：softmax 为 $t \propto N^{2.28}$，而状态为 $N^{0.91}arXiv cs.LGhttps://arxiv.org/abs/2610.20637 5站内When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。arXiv cs.AIhttps://arxiv.org/abs/2610.20764

AI 答案正在检索与综合…

站内相关条目

5 条 · 点击可看原文全文与中文译文

返回信息流

部署

SoftCache让扩散模型缓存步长自适应

SoftCache是一种免训练缓存方法，利用动态缓存中陈旧度信号的余量预测复用误差，将二值刷新开关改为自适应步长：余量大时跳过多个调度节点，临近刷新时步长收缩回原值。在FLUX图像及HunyuanVideo、Wan2.1视频上实现3.5至6.9倍加速，四项保真度指标全面领先基线。

部署与算力·Hugging Face Papers·4 天前

#diffusion

行业

CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection

提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。

行业落地·arXiv cs.LG·4 天前

#multimodal

大模

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

大模型·arXiv cs.LG·4 天前

#mamba

大模

Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。

大模型·arXiv cs.LG·4 天前

#attention

大模

When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。

大模型·arXiv cs.AI·4 天前

#reinforcement-learning