X上のまとめによると、11月12日にサンフランシスコで初のSGLang Summitが開かれ、オープンソースのLLM推論エンジンSGLangのv1.0が発表された。オーバーヘッドのないスケジューリングやRustによる書き直しなどを含み、330の組織にわたる217のモデルに対応する。LMSYS Orgは、NVIDIA、AMD、Google、Meta、Intel、Cloudflare、Modal、RadixArkが支援するSGLang Consortiumを立ち上げ、最先端モデルとハードウェア向けのオープンソース推論の方向性を共同で決めていく。サミットは11月13日まで開かれ、Miles v0.2フレームワークも紹介された。
推論エンジンSGLangがv1.0に スケジューリングのオーバーヘッドをなくしRustで一部を書き直し、コンソーシアムも発足
## POINTS
- SGLang v1.0を発表。オーバーヘッドのないスケジューリングとRustでの書き直し。
- 330組織・217モデルに対応。
- NVIDIA、Google、Cloudflareなどが参加するSGLang Consortiumが発足。