OpenBMB、MiniCPM-V 4.7を公開　シリーズ初のMoE 35B-A3BがiPhone 17 Pro Maxで約3GB・13トークン/秒超、専門家の先読みで性能を落とさず

MiniCPM-V 4.7は10月12日に公開され、10月15日には推測デコード用のDSparkヘッドもBF16とGGUFで追加された。35B-A3Bは総パラメーター約35B、トークンごとのアクティブは約3.5B。MoEモデルは専門家の重みを端末のメモリーに載せきれず、ストレージから都度読み込むと待ちが発生し、使える専門家を固定すると性能が落ちるという課題がある。新技術のLookahead Expert Scheduling（LES）は、層をまたいだルーティング予測で次の層に必要になりそうな専門家を先に読み込み、実際のルーターが選んだ専門家のうち読み込み済みのものから計算を始め、残りの読み込みと重ねる。予測は先読みと順序づけにだけ使い、計算はモデル本来のルーティングに従うため出力は変わらないとしている。層ごとの細かな量子化とDSparkの推測サンプリングを組み合わせ、実機で5倍の高速化を得た。OpenBMBは、Instructモードで35B-A3BがQwen3.6 35B-A3Bより短い推論時間で高い総合スコアを出したと説明している。iOS、Android、HarmonyOSと、Intel、AMD、Arm、Rockchip、Houmoのチップに対応し、推論はSGLang、vLLM、llama.cpp、Ollama、微調整はSWIFTとLLaMA-Factoryで使える。既存の能力を忘れにくくする微調整手法Self-Replay Fine-Tuning（SRFT）もあわせて公開した。