本文へスキップ
MameTechNews
AI

llama.cppがv1.0.0に セマンティックバージョニングを採用し公開APIを安定化、FP8のKVキャッシュにも対応

## POINTS

  • 11月13日にv1.0.0をリリース。セマンティックバージョニングを採用し公開APIを安定化。
  • FP8のKVキャッシュ、Kimi-K3.1-Proなど新アーキテクチャに対応。
  • llama-serverのセキュリティ修正を含み、150種類以上のハードウェアをサポート。

X上のまとめによると、Georgi Gerganov氏は11月13日、ローカルLLM推論ライブラリllama.cppのv1.0.0を発表した。MacBookでLLaMAを動かした最初の公開から3年以上を経ての節目となる。今回からセマンティックバージョニングを採用し、スマートフォンやノートPC、ワークステーション向けにアプリを作る開発者が依存できる安定した公開APIを提供する。主な更新として、FP8のKVキャッシュ対応、Kimi-K3.1-Proなど新しいモデルアーキテクチャへの対応、llama-serverのセキュリティ修正が含まれる。NVIDIAからApple Siliconまで150種類以上のハードウェアをサポートしている。