本文へスキップ
MameTechNews
AI

vLLM、画像と動画も確率で返す決定モデルd3を公開

## POINTS

  • 26.09B、Apache-2.0。選択・二者択一・スコアを1回で確率返しし、文章は生成しない。
  • 公開スイートは65.5でDecision 2.0の27Bの57.0を上回る。動画QAの77.4は内部評価。
  • MI325Xでテキスト55ミリ秒、画像273ミリ秒、10秒動画553ミリ秒。動画は最大32フレーム。

Hugging Face上のモデルカードによると、d3はvLLM Semantic RouterのDecision 3.0に属するマルチモーダルな基盤決定モデルだ。入力はテキストまたはJSONで、画像と動画を複数添えられる。質問の型は選択、はい/いいえ、スコアで、1回の呼び出しでまとめて答え、各選択肢の確率を返す。文章は生成しない。パラメータ数はビジョンエンコーダ0.46Bを含む26.09B、ライセンスはApache-2.0。

Jev Decision Index 0.3.1では総合64.7、公開スイート65.5。同じ表のDecision 2.0(27B)は総合55.9、公開スイート57.0で、公開スイートはカードのハイライトが言うとおり約8.5ポイント上回る。速度の中央値は、AMD Instinct MI325Xでリクエストを1件ずつ処理したとき、テキストが55ミリ秒、画像付きが273ミリ秒、10秒の動画が553ミリ秒。動画のPerception Test(検証用19,140問)は内部評価で77.4。

画像はリクエスト本文の前に置かれ、1枚あたり最大1.6メガピクセル。動画はその後で、毎秒2フレーム、全体から最大32フレーム、各フレームは最大0.2メガピクセルで読まれる。読み込みにはtransformers 5.17.0とtrust_remote_codeが要る。生成モデルの出力を正規表現で分類している経路は、確率が直接返るこの形へ移せるかを、自分の画像枚数と動画の長さで測るとよい。