AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 5 条来源 · 引用可点击溯源

现有资料只能部分回答：唯一直接涉及「近期词频混合」与「小型 Transformer」分工的是 TurboMamba3，但摘要仅给出三项改进的名称与整体效果，未展开词频混合的具体机制与分工细节。 可确认的分工结构（来自 [3]）

TurboMamba 是混合架构：全局 Mamba-3 按 token 块运行，负责块级/全局建模；小型 Transformer 结合块内上下文预测下一 token，负责块内局部预测3。
除「近期词频混合」外，另两项轻量改进是前块末 token 直连与分数修正3。
效果：在 FineWeb-Edu 上测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍3。

资料未覆盖的部分

「近期词频混合」具体如何作用于小型 Transformer（是输入特征、logit 修正还是输出重加权）、与块内上下文预测如何耦合，摘要均未说明3。
其余资料与本题无关：SoftCache 讲扩散模型自适应缓存1，CogDrift-4D 讲 MCI 检测的分层 4D Transformer2，Expanding Attention 讲泰勒级数线性注意力4，Co^4 讲认知速度扩展原则5。

因此，若需明确「词频混合—小型 Transformer」的精确分工，现有资料不足以回答，建议查阅 TurboMamba 原文3。

继续追问

TurboMamba 中「近期词频混合」的具体实现方式是什么，作用在词表分布还是 logit 层面？小型 Transformer 在 TurboMamba 中承担多少参数比例，去掉它后 NLL 与吞吐会如何变化？前块末 token 直连与分数修正分别解决什么问题，与词频混合是否互补？

参考来源

5 条

1站内SoftCache让扩散模型缓存步长自适应扩散模型与流模型通过迭代步骤生成样本，每一步都需要对大型网络做一次完整的前向传播，而这次前向传播主导了生成成本。免训练缓存通过复用近期评估中的激活值而非重新计算来加速这一过程。动态缓存方法将网络输入的一个廉价探针累积为陈旧度信号，当该信号越过阈值时便执行一次新的评估，以此决定何时刷新。这类方法执行的是硬缓存：信号是刷新与复用之间的二值开关，且每一步——无论新算还是缓存——都按规定的步长推进。我们观察到，该信号所承载的信息远不止这个开关。它低于阈值的幅度，即其余量（headroom），可以预测复用所引入的误差。我们提出 SoftCache，执行软缓存：不再Hugging Face Papershttps://huggingface.co/papers/2610.22369 2站内CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。arXiv cs.LGhttps://arxiv.org/abs/2610.20877 3站内TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical MemoryTurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。arXiv cs.LGhttps://arxiv.org/abs/2610.20682 4站内Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent StatesarXiv:2610.20637v1 公告类型：新摘要：我们将注意力的指数核展开为包含 $n$ 项的截断泰勒级数，并将每一项分解为张量幂内积，从而将因果历史压缩为恰好 $n$ 个循环状态，每个状态由每个 token 的一次秩一外积更新，且与上下文长度 $N$ 无关。该递推相对于截断核是无损的（float64 下为 $2.2 \times 10^{-16}$），且状态在分块之间可加（$5.7 \times 10^{-14}$），因此预填充可采用并行扫描。实测指数为：softmax 为 $t \propto N^{2.28}$，而状态为 $N^{0.91}arXiv cs.LGhttps://arxiv.org/abs/2610.20637 5站内When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。arXiv cs.AIhttps://arxiv.org/abs/2610.20764

AI 答案正在检索与综合…

站内相关条目

5 条 · 点击可看原文全文与中文译文

返回信息流

部署

SoftCache让扩散模型缓存步长自适应

SoftCache是一种免训练缓存方法，利用动态缓存中陈旧度信号的余量预测复用误差，将二值刷新开关改为自适应步长：余量大时跳过多个调度节点，临近刷新时步长收缩回原值。在FLUX图像及HunyuanVideo、Wan2.1视频上实现3.5至6.9倍加速，四项保真度指标全面领先基线。

部署与算力·Hugging Face Papers·4 天前

#diffusion

行业

CogDrift-4D: Hierarchical Multimodal Modeling of Temporal Behavioral Decay for MCI Detection

提出 CogDrift-4D 分层 4D Transformer 框架，用 18 个月七次无脚本多模态交互数据构建 Batch×Session×Time×Feature 张量，通过会话内回归斜率与跨会话递归交叉注意力建模行为衰退，配合质量门过滤噪声，实现轻度认知障碍检测（准确率 0.733），为居家实时痴呆筛查提供可扩展方案。

行业落地·arXiv cs.LG·5 天前

#multimodal

大模

TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。

大模型·arXiv cs.LG·5 天前

#mamba

大模

Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

该论文将注意力指数核展开为截断泰勒级数，把因果历史压缩为固定数量的循环状态，实现线性时间注意力。在 N=8192 时提速 20.8 倍，解码延迟恒定，精度随阶数指数提升但成本组合增长，最优为二阶 n=3。

大模型·arXiv cs.LG·5 天前

#attention

大模

When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence

论文提出「有效连贯认知速度」S_C^eff 这一新指标，衡量现实变化速度超过系统认知能力时智能体能否保持可靠行为。作者在固定算力下将现实速度提升至50倍测试强化学习智能体，发现受细胞机制启发的 Co^4 架构显著优于 Transformer 和门控 MLP 基线，为可靠 AI 提供新基准与扩展原则。

大模型·arXiv cs.AI·5 天前

#reinforcement-learning