vLLM、Kimi K3のGB300向けデコード経路をNVIDIAと高速化　CuTe DSLで演算と通信を融合し最大1.9倍、エージェント支援で開発

vLLMのブログによると、2.8兆パラメーターのKimi K3向けに、デコード処理のほぼすべてをCuTe DSLのカスタムカーネルに置き換えて融合した新しい経路を追加した。対象はNVLinkドメインを共有する8基または16基のBlackwell GPUで、デコードバッチ1〜64と長文脈向けのデコードコンテキスト並列に対応する。1層あたりの処理は、標準のvLLMの23カーネル・130マイクロ秒から13カーネル・69マイクロ秒に短縮された。アテンション出力の射影をall-reduceと融合して通信と計算を重ね、MoEではルーター計算をテンソル並列のランクに分散し、通信中に次の重みをキャッシュへ先読みする。推測デコードなしではTP16のバッチ1で256.4トークン/秒（1.88倍）、TP8で193.3トークン/秒（1.58倍）。DSparkによる推測デコード（合成の受理長6）を使うとバッチ1で842トークン/秒となり、同条件の標準vLLMの488トークン/秒に対し1.73倍。実際のコーディングエージェントの通信パターンを再現するAgentXではP90のインタラクティブ性が1.8倍になった。開発にはコーディングエージェントを使い、レビュー負担を抑えるため、変更をモデルのコード内に閉じる、対象ハードウェアと負荷を限定しつつ構造化出力などの機能は維持する、カーネルテストとAIME25やMRCRなどのモデル評価の両方で正しさを確かめる、という方針を示した。この経路は decode_backend: latency_specialized によるオプトインで、DeepSeek-V4.1-FlashやGLM5.3にも同様の最適化を進めている。