本文へスキップ
MameTechNews
AI

Cloudflare、AI GatewayのAuto Routerを公開ベータ モデル選択を自動化

## POINTS

  • cloudflare/autoは依頼の分類と難易度からモデルを選び、ベータ中のルーター自体は無料だ。
  • 社内ベンチマークでは成功あたりOpus 5.5の0.0210ドルに対し、Auto Routerは0.0084ドルだった。
  • 長いセッションではキャッシュ破棄のコストを見て切り替えを抑制する。規制向けの絞り込みは今後だ。

Cloudflareは9月30日、AI Gateway経由のAuto Routerを公開ベータで出した。モデルを cloudflare/auto にすると、対応形式、認証、課金、アクセス制御、支出上限、障害中のプロバイダを除いた候補から実行先を決める。ベータ中のルーター利用は無料だ。

選定は二段だ。会話の新しいターンを優先してWorkers AI上の分類モデルへ渡し、14分類の確率と、複雑さ、曖昧さ、重大さ、前文脈への依存を1から5で出す。スコア行列がベンチマーク由来の重みと組み合わせ、期待品質からコスト罰則を引いた効用が最大のモデルを選ぶ。簡単な依頼では価格の比重が上がり、難しい依頼では高性能モデルが残りやすい。

社内ベンチマークは97タスクを各3回、計291試行で、メールや予定、Slack、ファイル、出張、経理のツール利用を採点した。autoは252/291(86.6%)で総額2.10ドル、成功あたり0.0084ドル。Claude Opus 5.5は281/291(96.6%)で5.91ドル、成功あたり0.0210ドル。GPT-6 Solは245/291(84.2%)で2.64ドル、成功あたり0.0108ドル。コストはSolの80%、Opusの35%だった。OpenCodeの社内利用では、SolとOpusだけを使う場合と比べ最大30%の削減も報告している。

長いセッションではモデルを替えるとキャッシュを捨てて文脈を書き直す。ルーターはターン内の切り替えを避け、ターンをまたぐときは既存キャッシュを持つモデルを安く、それ以外を再書き込みコストで比較する。ゼロデータ保持やResponses API、思考レベルの自動選択は今後なので、規制要件がある経路へ無条件では載せられない。