Microsoft AIは10月15日、MAI-Base-2の事前学習を終えたと報告した。アクティブパラメータ800億、総パラメータ2.8兆のMoEで、2026年8月から9月にかけGB200 GPU 1万6000基で38日間学習した。平均MFUは21%、学習が進んでいた時間の割合(goodput)は89%だった。
前世代のMAI-Base-1より疎で、すべての層をMoEにした。MoE層のMFUは24%から35%に上がったという。学習データは他モデルからの蒸留ではなく自前で処理し、知識のカットオフは2026年3月。画像も事前学習から入れたencoder-freeの構成で、50兆トークンの混合物のうち画像・文書側のデータは18%を占める。
同社の保持評価では、比較したモデルよりbits-per-byteが低かった。ただしKimi K3など一部は事後学習済みの重みしかなく、評価への影響は同社も留保している。計算量の比較は公開ベースのDeepSeek-V4-Pro-Baseに対するもので、4.2〜12.3倍FLOPs効率だと見積もっている。MAI-Base-2自身はまだ事後学習の途中だ。重みの一般公開はなく、Foundryを通じて信頼できるパートナーへライセンスする方針が示されている。
今日の推論APIを差し替える発表ではない。見るべきは、Microsoftが自社データと自社クラスタで積んだ2.8兆規模の基盤を持ったことだ。製品への入り方は事後学習の結果待ちで、次のMAI-Base-3の準備も始まっている。