本文へスキップ
MameTechNews
AI

Reflection AI、初のオープンウェイトモデルBeam 1.0を公開 501B(アクティブ23B)のMoEをApache 2.0で

## POINTS

  • 総501B・アクティブ23BのMoE、100万トークンのコンテキストでApache 2.0公開
  • BF16・FP8・NVFP4の重みと投機的デコード用ドラフトモデルを同時公開、NVFP4は約280GB
  • transformers・SGLang・vLLMが初日対応、主要クラウドやOllama・OpenRouterなどでも利用可能

米Reflection AIは10月16日、同社初のオープンウェイトモデルBeam 1.0をHugging Faceで公開した。Beamは疎なMixture-of-Expertsで、総パラメータ501.3B、トークンあたりのアクティブパラメータ23.4B。52層(密3層+MoE 49層)、各MoE層256エキスパートのうち8つを使い、注意機構はGated GQAとスライディングウィンドウを組み合わせる。入出力はテキストで、コンテキストは100万トークン、知識のカットオフは2026年6月30日。ライセンスはApache 2.0で、BF16・FP8・NVFP4の3形式に加え、投機的デコード用のドラフトモデル(DFlash2)も公開された。Hugging Faceの解説によると、BF16では約1TBの重みがNVFP4では約280GBに縮み、Blackwell世代のGPUで扱いやすくなる。推論の深さはlowからmaxまで5段階で指定でき、ターンをまたいで推論内容を保持する機能やツール呼び出し専用の文法を備える。transformers、SGLang、vLLMは初日から対応。重みのほか同社APIと、AWS、Google Cloud、Microsoft Azure、Cloudflare、Vercel、OpenRouter、Ollama、LM Studio、OpenCodeなど多数のパートナーで提供される。