本文へスキップ
MameTechNews
AI

Baidu、事前学習済みERNIE 5.5 Flash Baseの重みを公開

## POINTS

  • 事後学習前の重みである。チャットやエージェントの完成品として、指示モデルと並べない。
  • 追加学習と推論は100万トークン。事前学習で伸ばした文脈の上限は128Kである。
  • ライセンスは独自のv1.0。Hugging FaceのFP8とBF16は、入力先頭のBOSが前提になる。

公開されたのは、追加学習の土台にするためのベースモデルだ。43層のうち37層は、128トークンを1件に圧縮して注意を計算する。全トークンを個別に見る層は6層だけである。学習時の文脈は最大128Kまで伸ばし、公開後のファインチューニングと推論は100万トークンに対応する。

同規模の公開ベースモデルとの比較では、MMLU-Pro(5-shot)が78.4でDeepSeek-V4-Flash-Baseの69.2を上回り、HumanEval+は82.3、LiveCodeBenchは40.1だった。比較は事後学習前のチェックポイント同士で、チャットモデルの順位ではない。FullStackBenchは54.6で、同じ表のHy3-preview-Baseの56.7を下回る。

配布はHugging FaceのFP8とBF16で、モデルIDはbaidu/ERNIE-5.5-Flash-Base-BF16など。ライセンスはERNIE 5.5 Flash Base Model License Agreement v1.0で、Apache 2.0ではない。トークナイズ時は先頭のBOSが必要で、add_special_tokens=Trueが前提になる。

本番のエージェントを差し替える発表ではない。自前で事後学習やドメイン適応をするチーム向けの材料で、再配布や商用学習がライセンスに合うかを先に見る。