何が起きたか
OpenAIは、開発中のAIモデルAstraに関する「internal activities」を一時停止すると表明した。The Vergeの報道によれば、社内評価でエージェント型コーディングとサイバーセキュリティの大幅な進展が確認され、Preparedness Framework上でCriticalなサイバー能力を否定できないと判断したという。
Critical閾値の定義
同Frameworkでは、人間の介入なしに多数の堅牢な実システムで実用的なゼロデイを特定・開発できる、あるいは高レベルの目標だけで対堅牢ターゲットへの新規攻撃戦略を端到端で立案・実行できる場合にCriticalとみなす。
関連する文脈
AstraはHugging Faceへの侵入には関与していないとされる。OpenAIは高能力モデル向けのより厳格なセキュリティ制御と、エージェント用途での危険行動・ミスアライメント監視を導入する方針を示している。