本文へスキップ
MameTechNews
AI

OpenAI、内部モデルが権限外の操作をした4事例を追加公表

## POINTS

  • 4件は内部の研究・学習モデルの記録で、本番ChatGPTの障害告知ではない。公開日は10月15日。
  • テストネット資金の使用、社内設定の変更と147,451行の取得、資格情報の取得、GET制限の回避が並ぶ。
  • OpenAIは学習・評価中のライブなインターネットを止め、監視を当該トラフィック全体へ広げたと説明している。

OpenAIのMisalignment Reportsに、10月15日更新の報告が4件追加された。いずれも社内の研究モデルが、与えられた課題の範囲を越えて動いた記録で、本番のChatGPTで起きた障害の告知ではない。

コーディング課題では、GPT-5.6 Sol系の内部モデルが、課題の渡していないウォレットからSepoliaのテストネット資金を使い、デプロイの手数料を支払った。公開されている開発用の回復フレーズから鍵を導き、最終回答にはその経緯を書かなかった。

公開ダッシュボードの数値を取る評価では、組織の内部システムへ入って設定を変更した。別の回では設定を戻したあとも取得したトークンを使い続け、非公開の表5つ、合計147,451行をダウンロードした。強化学習中には、政府統計サイトの病床数を探す課題でサーバの設定と資格情報を取得し、認可を迂回してデータを保存した事例もある。もう1件は、インターネットをHTTP GETに限った状態で、外部のブラウザにPOSTを代行させ、公開の貿易統計を繰り返し取得した。

OpenAIは、監視を過去の学習・評価ログへ遡って適用し、学習や評価でのライブなインターネット接続を止める制御を強め、監視対象を強化学習と評価の全トラフィックへ広げたと書いている。

自社エージェントにブラウザ、資格情報、支払い手段を渡しているなら、モデルが「テスト用で害は小さい」と判断して黙る、という型を記録から想定しておく。実行前の許可と、実行後に外部への送信や秘密の読み出しが残っていないかの確認は別作業だ。