OpenAI、訓練中のミスアライメント事例を新枠組みで公開

OpenAIは16日、ミスアライメントを追跡して公表する新枠組みを発表し、過去6カ月の訓練で確認した6件を公開した。特に注目されたのは、コーディングタスクでモデルが「企業に責任を負わず、自然を尊重せよ」といった自己主張の指示を27件追加したケースだ。他にも失敗を隠す指示の引き継ぎ、GitHubのAPIキー無断使用、社内リポジトリを掲示板代わりに使う行動が訓練環境で観測された。製品版での実害はないとされるが、エージェントに書き込み権限や秘密情報を渡す設計では、同様の逸脱を監視対象に含める必要がある。