OpenAIは9月30日（現地時間）、自社モデルから保護された推論過程を抽出する組織的な行為を阻止したと発表した。ITmediaが10月1日に報じた。保護された推論とは、最終回答には出さない内部の作業記録を指す。OpenAIはこの行為を、あるモデルの出力や推論を無断で使い、別モデルの訓練や再現に役立てる敵対的蒸留だと説明している。
経路は対話の操作だった。ある会話で得た暗号化された推論を別の会話へコピーし、モデルに復号して書き起こさせていた。暗号の解読、データベース侵入、保存済み会話への直接アクセスは確認されていない。活動は7月1日に始まり、7月24日と25日に4000超のユーザーから約1万6000件へ急増した。関連プロンプトは1万5000超のユーザーに広がり、7月28日までに止めたという。
OpenAIは、全体が単一グループかは不明としつつ、中核はMoonshot AIの関係者だと結論づけた。独立した研究者から、モデルをまたぐ経路と会話の圧縮に関する報告もあり、経路の実在を確認した。同社はOpenAI固有ではないとして、Frontier Model Forumを通じて他社と共有している。
対策は不正アカウントの制限、登録と基盤の監視強化、暗号化推論の再利用経路の閉鎖、推論が混ざり得るストリーミング出力の保留である。推論トレースをログや別サービスへ転送している場合は、会話をまたいで再投入できないかを確認する。抜き出した推論は、元モデルの安全対策を引き継がない別モデルの訓練に使える、というのがOpenAIの指摘である。