DeepSeekは2026年10月20日、本番サービスを支えてきた推論フレームワークDeepInferをGitHubで公開した。ライセンスはApache 2.0。既定のチェックポイントはDeepSeek-V4.1-Flash-1017で、対応ハードウェアはNVIDIAのSM100 GPUとHuawei Ascend 950 NPUに限られる。
このリリースは重みそのものではなく、リクエストをチップへ割り、応答を作る側の実装である。FlashMLAやDeepGEMM、DeepEPなどの最適化カーネルに加え、アテンションとMoEの並列、投機デコード（DSpark）、非同期スケジューラ、構造化出力を含む。NVIDIAではバッチ構成が変わっても結果を揃える設定と、同じ入力なら同じ出力になる決定的サンプリングも使える。土台はvLLMで、SGLangとTensorRT-LLMも参考にしている。
一方、完全なオンライン配信に必要なものは同梱されない。READMEが挙げる欠落は、KVキャッシュ基盤、プリフィルとデコードの分離（エンジン側の機能の多くは実装済み）、データ並列レプリカ間の負荷分散である。ビルド条件はLinux、GCC 13以上、Python 3.12、NVIDIAならCUDA 13、AscendならCANN 9.2。性能図はプリフィルがSM100を4基、デコードが64基という構成で測られている。
既存のvLLMやSGLangでV4.1-Flashを動かしているチームにとって、DeepInferは公式の本番経路を比べる基準になる。一般的なデータセンターGPUへそのまま載る配布物ではなく、次世代アクセラレータとオフライン実行が前提だ。導入するなら、欠けているキャッシュと分離配信を自前で埋めるコストを先に置くことになる。