Ant GroupのinclusionAI、560B MoEのLing-3.1-flash-1019をMITで公開　事後学習でエージェント性能を改善、ベースモデルも

モデルカードによると、Ling-3.1-flash-1019は構成を変えずに事後学習を追加したもので、AA-Briefcaseは約1400から1524 Elo、AutomationBench-AAは62%から68%、CritPtは18%から26%、SciCodeは54%から57%に上がり、Artificial Analysis Intelligence Indexは41から44になった。アーキテクチャはKDA線形注意63層とゲート付きMLA 9層を組み合わせたハイブリッドMoEで、エキスパートは512個のうちトークンあたり8個と共有エキスパート1個を使う。重みはFP8で約574GB、ベースモデルはBF16で約1.14TB。推奨の実行環境はSGLangでH200 8枚。カードは100万トークンのコンテキストをうたうが、config.jsonのmax_position_embeddingsは262,144になっている。カードのSGLangコマンドは旧版のリポジトリを指しているため、写す際はモデルパスを書き換える必要がある。