モデルカードによると、Nemotron 3.5 Bolt E4Bは複数ターンのツール呼び出し、指示追従、入力への忠実さを強化しており、ローカルの音声・デバイスアシスタントや組み込みUIを主な用途としている。低メモリと最初のトークンまでの短い待ち時間を重視した設計。BF16版はvLLMでの推論や追加学習向けで、llama.cpp向けにはQ4_K_M量子化のGGUF版(約6.18GB)と、投機的デコーディング用のDFlashドラフトモデル(360M)が用意された。思考モードはチャットテンプレートのenable_thinkingで切り替えられる。ライセンスはOpenMDW-1.1で商用利用も可能。英語とプログラミング言語が主対象で、日本語にも対応する。
NVIDIA、ローカル音声アシスタント向け小型モデルNemotron 3.5 Bolt E4Bを公開 Gemma 4 E4Bベース、llama.cpp向けQ4_K_M版も
## POINTS
- Gemma 4 E4Bベースで総8B・実効4B、入出力とも最大64Kトークン
- llama.cpp向けQ4_K_M版と投機的デコーディング用DFlashドラフトを同時公開
- ライセンスはOpenMDW-1.1で商用可、ツール呼び出しと指示追従を強化