Apple Machine Learning Researchは2026年10月15日、同日公開のMLX 0.30.1で、Mac Studio複数台にまたがる推論を実測した。通信はmacOS 26.2が入れたThunderbolt 5上のRDMAドライバで、MLXの集合通信 jaccl がこれを使う。起動は mlx.launch --backend jaccl に、CPUとGPUの同期を縮める実験フラグ MLX_METAL_FAST_SYNCH=1 を足す形だ。
対象の一つがMetaのMuse Spark Openで、総数816B、有効42B。BF16の重みだけで1.6TB超になり、NVFP4でも約493GB。中間計算を足すと512GBのMac Studio 1台には載らない。8,192トークンの文脈で、M5 Ultra 2台のパイプライン並列は毎秒15.74トークン、2台のテンソル並列は24.99、4台のテンソル並列は36.73だった。最初のトークンまでの時間は、同じ文脈で2台パイプラインの8.4秒に対し4台テンソルが4.8秒。65,536トークンでは、リンクあたりのケーブルを1本から2本にすると、4台の最初のトークンが約50.5秒から40.6秒へ縮んだ。
1台に載るQwen 3.8 27BとMistral Medium 3.5 128Bでは、M5 UltraのGPU Neural Acceleratorが効く。最初のトークンはM3 Ultra比で最大4.6倍、生成はメモリ帯域が819GB/sから1.2TB/sへ増えたことに沿い1.6倍。65,536トークンでのピーク電力はM3 Ultraが約200W、M5 Ultraが約300Wだった。
ローカルのエージェントには mlx_lm.server を同じ mlx.launch の後ろで上げ、OpenCodeからOpenAI互換のURLとして向ける例が載っている。必要なのはM5 Ultraを複数台と、台数分のThunderbolt配線だ。