本文へスキップ
MameTechNews
AI

Microsoft、2.8兆パラメータのMAI-Base-2の事前学習完了を公表

## POINTS

  • アクティブ800億・総数2.8兆を、GB200 1万6000基で38日学習した。MFUは21%、goodputは89%。
  • FLOPs効率はDeepSeek-V4-Pro-Base比4.2〜12.3倍という見積もりだが、相手はベースモデルで、こちらは事後学習前。
  • 重みは未公開。Foundry経由の限定ライセンス方針なので、いま選ぶ推論先は変わらない。

Microsoft AIは10月15日、MAI-Base-2の事前学習を終えたと報告した。アクティブパラメータ800億、総パラメータ2.8兆のMoEで、2026年8月から9月にかけGB200 GPU 1万6000基で38日間学習した。平均MFUは21%、学習が進んでいた時間の割合(goodput)は89%だった。

前世代のMAI-Base-1より疎で、すべての層をMoEにした。MoE層のMFUは24%から35%に上がったという。学習データは他モデルからの蒸留ではなく自前で処理し、知識のカットオフは2026年3月。画像も事前学習から入れたencoder-freeの構成で、50兆トークンの混合物のうち画像・文書側のデータは18%を占める。

同社の保持評価では、比較したモデルよりbits-per-byteが低かった。ただしKimi K3など一部は事後学習済みの重みしかなく、評価への影響は同社も留保している。計算量の比較は公開ベースのDeepSeek-V4-Pro-Baseに対するもので、4.2〜12.3倍FLOPs効率だと見積もっている。MAI-Base-2自身はまだ事後学習の途中だ。重みの一般公開はなく、Foundryを通じて信頼できるパートナーへライセンスする方針が示されている。

今日の推論APIを差し替える発表ではない。見るべきは、Microsoftが自社データと自社クラスタで積んだ2.8兆規模の基盤を持ったことだ。製品への入り方は事後学習の結果待ちで、次のMAI-Base-3の準備も始まっている。