X上のまとめによると、Hugging FaceはOpenRouterと提携し、OpenRouterの推論ルーティングをHugging Face Hubに統合した。各リクエストは価格、速度、稼働率をもとに最適なプロバイダーに振り分けられ、障害時には自動でフェイルオーバーする。利用者はこれまでのHugging Faceのトークンとエンドポイントをそのまま使え、38のラボが提供する160モデルにアクセスできる。ライブの統計情報と刷新された推論ウィジェットも提供される。リクエストのトレースは利用者のストレージに保存でき、評価やファインチューニングに使える。Clément Delangue CEOによると、OpenRouterで処理されるトークンの72%をオープンウェイトモデルが占める。
Hugging FaceとOpenRouterが提携 Hubの推論リクエストを価格・速度・稼働率で自動ルーティング
## POINTS
- OpenRouterの推論ルーティングをHugging Face Hubに統合。自動フェイルオーバーにも対応。
- 既存のトークンとエンドポイントのまま38ラボ・160モデルを利用可能。
- リクエストのトレースを自分のストレージに保存し、評価やファインチューニングに使える。