Apple ML Research: Muse Spark Open with MLX on Mac Studio

在搭载 Apple 芯片的 Mac 上，MLX 让 AI 研究人员和开发者能够在私密环境中本地试验最新模型与方法。这一开源数组框架充分利用 Apple 芯片的统一内存架构，使任何人都能在自己的硬件上运行新的推理与微调方法，并探索其他 AI 技术。在此前的一篇文章中，我们重点介绍了 M5 架构及其 GPU 神经加速器的优势。

在本文中，我们将展示如何借助今日发布的最新版 MLX，直接在办公桌上运行最新的前沿级模型——Muse Spark Open，其参数规模接近一万亿。在由四台 Mac Studio 组成的集群上，Muse Spark Open 的生成速度超过每秒 36 个 token（见图 1），远高于人类平均阅读速度。

从单台 Mac Studio（最高 512GB 统一内存）起步，再通过基于 Thunderbolt 的 RDMA 驱动扩展到多台 Mac，下面我们概述如今你可以在 Mac Studio 上运行的各类模型。

Muse Spark Open 解码速度

上下文长度为 8,192 个 token

图 1：在搭载 M5 Ultra 的 Mac Studio 上，上下文长度为 8,192 个 token 时，Muse Spark Open 的解码速度（以每秒 token 数计）。数值越高越好。我们报告了三种并行方案的性能：跨两台 Mac Studio 计算机的流水线并行（2 M5 Pipeline），以及跨两台（2 M5 Tensor）和四台 Mac Studio（4 M5 Tensor）计算机的张量并行。

我们在 Mac Studio 上对若干流行的开放权重 LLM 进行了基准测试，使用 MLX LM 包，方法如我们之前的文章所述。我们比较了两代 Mac Studio：最近发布的 M5 Ultra 和上一代 M3 Ultra。M5 代配备了 GPU Neural Accelerator，支持专用矩阵乘法运算，这对许多机器学习工作负载至关重要。

我们评估了三个前沿级模型（表 1），涵盖广泛的规模范围（以十亿参数计，B）：新发布的 Muse Spark Open（816 B）、Mistral Medium 3.5（128 B）和 Qwen 3.8（27 B）。Muse Spark Open 是一个混合专家（MoE）模型，仅保持一小部分专家——以及相应的参数——处于激活状态，从而减少推理时的计算量，并以 NVFP4 精度进行评估。Mistral Medium 3.5 和 Qwen 3.8 是稠密架构，推理时所有参数均处于激活状态，分别以其原生浮点精度（FP8 和 BF16）进行评估。

表 1：本文中使用的语言模型。模型以多种精度格式发布；我们以原生精度评估 Qwen 3.8 和 Mistral Medium 3.5，并以 4-bit（NVFP4）精度评估 Muse Spark Open。

我们的评估在一系列上下文长度下测量三项指标：首 token 时间（TTFT，单位为秒）、生成吞吐（单位为 token/秒）以及峰值功耗（单位为瓦特）。本文中的所有性能数据均通过 mlx_lm.benchmark 获得。例如，以 8,192 个 token 的上下文运行 Qwen 3.8 并生成 128 个 token，可通过以下命令行执行：

mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1

在 Mac Studio 上使用本地 LLM 的一个常见用途是在私有环境中运行智能体体验，包括通常需要大上下文的智能体编程应用。因此，我们报告了 8,192 和 65,536 两种上下文大小下的性能。

原始 TTFT 和解码吞吐分别报告在表 2 和表 3 中。

Qwen 3.8 27B 和 Mistral Medium 3.5 128B 可以轻松运行在单台配备 512GB 内存的 Mac Studio 上，在大上下文尺寸（65,536 token）设置下分别占用最多 68GB 和 158GB 内存。在图 2 中，我们比较了它们在单台配备 512GB 内存的 Mac Studio 上的推理性能，分别在 M3 Ultra 和 M5 Ultra 上进行。

首 token 时间（TTFT）本质上是计算受限的，而这正是 M5 Ultra GPU 中神经加速器大放异彩之处：GPU 神经加速器对快速矩阵乘法的专用硬件支持直接转化为 TTFT 的显著加速，相比 M3 Ultra 最高快 4.6 倍（见图 2）。这使得配备 M5 Ultra 的 Mac Studio 成为处理涉及超大上下文任务时的首选台式机。

生成速度（以每秒 token 数计）受内存带宽限制。M5 Ultra 芯片提供 1.2 TB/s 的统一内存带宽，高于 M3 Ultra 的 819 GB/s。同样，这直接转化为生成速度的提升（见图 3），配备 M5 Ultra 的 Mac Studio 报告了 1.6 倍的每秒 token 数提升。

TTFT 加速

单台 Mac Studio，M5 Ultra 相对于 M3 Ultra 基线（1.0×）

图 2：在上下文长度为 8,192 和 65,536 token 时，Qwen 3.8 与 Mistral Medium 3.5 在 M5 Ultra 上相对 M3 Ultra 基线的首 token 时间（TTFT）加速比。M5 Ultra 的 GPU 神经加速器在计算密集型工作负载上表现出色。

解码加速

单台 Mac Studio，M5 Ultra 相对 M3 Ultra 基线（1.0×）

图 3：在上下文长度为 8,192 和 65,536 token 时，Qwen 3.8 与 Mistral Medium 3.5 在 M5 Ultra 上相对 M3 Ultra 基线的解码加速比。解码受内存带宽约束，M5 Ultra 的 1.2 TB/s 统一内存带宽（M3 Ultra 为 819 GB/s）是一项关键优势。

Mac Studio 在大语言模型推理方面也十分节能（见图 4）：配备 M3 Ultra 的 Mac Studio 峰值功耗约为 200W，配备 M5 Ultra 的 Mac Studio 为 300W——仅为普通烤面包机功耗的一小部分。更重要的是，如此适中的功耗意味着 Mac Studio 可以部署在任何家庭或办公环境中用于 AI 工作。

峰值功耗

上下文长度为 65,536 token

图 4：在上下文长度为 65,536 token 时，Qwen 3.8 与 Mistral Medium 3.5 推理过程中，配备 M3 Ultra 和 M5 Ultra 的 Mac Studio 的峰值功耗（单位：瓦）。

…