本文へスキップ
MameTechNews
AI

推論エンジンSGLangがv1.0に スケジューリングのオーバーヘッドをなくしRustで一部を書き直し、コンソーシアムも発足

## POINTS

  • SGLang v1.0を発表。オーバーヘッドのないスケジューリングとRustでの書き直し。
  • 330組織・217モデルに対応。
  • NVIDIA、Google、Cloudflareなどが参加するSGLang Consortiumが発足。

X上のまとめによると、11月12日にサンフランシスコで初のSGLang Summitが開かれ、オープンソースのLLM推論エンジンSGLangのv1.0が発表された。オーバーヘッドのないスケジューリングやRustによる書き直しなどを含み、330の組織にわたる217のモデルに対応する。LMSYS Orgは、NVIDIA、AMD、Google、Meta、Intel、Cloudflare、Modal、RadixArkが支援するSGLang Consortiumを立ち上げ、最先端モデルとハードウェア向けのオープンソース推論の方向性を共同で決めていく。サミットは11月13日まで開かれ、Miles v0.2フレームワークも紹介された。