OpenAIは10月19日、COBOL、Fortran、Visual Basic、OCamlなど、公開されたコードと文書が少ない言語での実装力と移行力を測った結果を公開した。
評価は二つある。MultiLangBenchは、指定言語でSQLite互換のデータベースエンジンを一から作り、同じSQLテストをデータベースファイルの中身で採点する。最大の推論強度でGPT-6 Astraの平均合格率は87.4%で、GPT-5.6 Solの26.8%から上がった。COBOLは10.9%から72.1%、OCamlは25.6%から85.8%、Fortranは21.4%から83.5%、Visual Basicは27.5%から89.4%になった。Astraは20言語中19言語で83%を超え、COBOLが72%で最も低い。より安いGPT-6 Lunaは平均40.3%で、1サンプルあたりの推定API費用は0.77ドル、GPT-5.6 Solの3.48ドルより約78%低い。評価一式はGitHubで公開されている。
もう一つは、既存のCOBOLをC++、Java、Kotlin、Python、Rustへ移し、観測できる出力がバイト単位で一致するかである。COBOLの固定小数は、明示しない限り端数を捨てる。丸めてしまうとエラーなく動き、金額だけが変わる。低推論のGPT-6.1 Solは86.6%で、同じ設定のGPT-5.6 Solの5.4%に対し、API費用はそちらの61%だった。推論を上げると97.9%まで届く。
本番の移行では、この数字をそのまま成功率とみなさない。業務規則と依存関係は隠れテストの外に残る。言語ごとの内訳を見て、COBOLのようにまだ差がある箇所は人が結果を照合する前提で使う。