Aleph Alphaは10月3日、Kolibriを公開した。英語とドイツ語向けのMixture-of-Expertsで、総パラメータは78.1B、推論時に有効なパラメータは約3.46Bだ。重みはHugging FaceのAleph-Alpha/Kolibri-1にあり、Apache 2.0で使える。知識カットオフは、英語・ドイツ語とも2026年6月18日としている。
事前学習は768基のB200で、16,384トークン文脈の20Tトークンを21日で回した。その後64k文脈で3.44T、256k文脈で200Bを追加している。学習で伸ばした最長は262,144トークンで、それ以上はvLLM起動時に最大1,048,576トークンへ広げる設定が別途案内されている。推論の深さはnone、low、medium、highの4段だ。
同社の計測では、LiveCodeBench v6が85.9、HumanEval+が92.7、SWE-Bench Verifiedが66.4だった。コード平均は89.3で、近い規模のQwen3.6-35B-A3Bの87.7を上回る。同じ表のSWE-Bench Verifiedでは、Qwen3.6-35B-A3Bが73.8でKolibriを上回る。78BはH100を2基で、256kトークンの問い合わせを同時に18件さばけ、123B案よりデコードが28%速い、と同記事は規模を抑えた理由を説明している。
実行には同社のvLLMプラグインaleph-alpha-inferenceが必要で、対応するvLLMもそのパッケージが入れる。比較は英語とドイツ語が中心で、日本語のベンチマークは出ていない。規制環境で活性パラメータの小さいオープンモデルを比べるときの候補であり、日本語タスクの採否は別途の検証が要る。