AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 5 条来源 · 引用可点击溯源

现有资料不足以回答该问题。资料中只有 3 提到「小型 Transformer 结合块内上下文预测下一 token」这一架构描述，但没有给出该块内小型 Transformer 的具体参数量，也没有给出块大小（block size）的取值或设置规则。资料中能确认的部分：

TurboMamba 采用混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 负责结合块内上下文预测下一 token3。
该架构另有三项轻量改进：前块末 token 直连、分数修正、近期词频混合3。
效果层面：在 FineWeb-Edu 上测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍3。

其余资料与「块内小型 Transformer 的参数量与块大小」无关：1 讨论扩散模型自适应缓存步长，2 讨论 MCI 检测的分层 4D Transformer，4 讨论线性时间注意力的泰勒级数展开与循环状态，5 讨论智能体认知速度的扩展原则。因此，参数量与块大小的具体数值、以及二者之间的设置约束（例如块大小是否随参数量缩放），均无法从现有资料中得出，建议查阅 TurboMamba 原文（arXiv:2610.20682）的实验设置或消融部分。

继续追问

TurboMamba 中块大小对训练吞吐和 NLL 的影响有做消融实验吗？块内小型 Transformer 与全局 Mamba-3 的参数分配比例是多少？前块末 token 直连和分数修正这两项改进的具体实现方式是什么？

参考来源

5 条

1站内SoftCache让扩散模型缓存步长自适应扩散模型与流模型通过迭代步骤生成样本，每一步都需要对大型网络做一次完整的前向传播，而这次前向传播主导了生成成本。免训练缓存通过复用近期评估中的激活值而非重新计算来加速这一过程。动态缓存方法将网络输入的一个廉价探针累积为陈旧度信号，当该信号越过阈值时便执行一次新的评估，以此决定何时刷新。这类方法执行的是硬缓存：信号是刷新与复用之间的二值开关，且每一步——无论新算还是缓存——都按规定的步长推进。我们观察到，该信号所承载的信息远不止这个开关。它低于阈值的幅度，即其余量（headroom），可以预测复用所引入的误差。我们提出 SoftCache，执行软缓存：不再Hugging Face Papershttps://huggingface.co/papers/2610.22369 2站内CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。arXiv cs.LGhttps://arxiv.org/abs/2610.20877 3站内TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical MemoryTurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。arXiv cs.LGhttps://arxiv.org/abs/2610.20682 4站内Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent StatesarXiv:2610.20637v1 公告类型：新摘要：我们将注意力的指数核展开为包含 $n$ 项的截断泰勒级数，并将每一项分解为张量幂内积，从而将因果历史压缩为恰好 $n$ 个循环状态，每个状态由每个 token 的一次秩一外积更新，且与上下文长度 $N$ 无关。该递推相对于截断核是无损的（float64 下为 $2.2 \times 10^{-16}$），且状态在分块之间可加（$5.7 \times 10^{-14}$），因此预填充可采用并行扫描。实测指数为：softmax 为 $t \propto N^{2.28}$，而状态为 $N^{0.91}arXiv cs.LGhttps://arxiv.org/abs/2610.20637 5站内When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。arXiv cs.AIhttps://arxiv.org/abs/2610.20764

AI 答案正在检索与综合…

站内相关条目

5 条 · 点击可看原文全文与中文译文

返回信息流

部署

SoftCache让扩散模型缓存步长自适应

SoftCache是一种免训练缓存方法，利用动态缓存中陈旧度信号的余量预测复用误差，将二值刷新开关改为自适应步长：余量大时跳过多个调度节点，临近刷新时步长收缩回原值。在FLUX图像及HunyuanVideo、Wan2.1视频上实现3.5至6.9倍加速，四项保真度指标全面领先基线。

部署与算力·Hugging Face Papers·4 天前

#diffusion

行业

CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection

提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。

行业落地·arXiv cs.LG·4 天前

#multimodal

大模

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

大模型·arXiv cs.LG·4 天前

#mamba

大模

Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。

大模型·arXiv cs.LG·4 天前

#attention

大模

When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。

大模型·arXiv cs.AI·4 天前

#reinforcement-learning