Anthropic、Claudeエージェントに訓練データ監視をすり抜ける学習データを作らせる自動レッドチーミングを公開　創作やロールプレイに隠した例を発見

Anthropicは人手のレッドチーミングでは検証できる量に限りがあるとして、安全性の問いをスコア化し、自律エージェントに解かせる手法を試した。今回の実験では、Claudeに監視モデルそのものへのアクセスを与え、監視に検出されない一方で、ファインチューニング後のモデルが固定の評価で最も不整合になるデータを作るという一方的なゲームを設定した。何度も試行した結果、Claudeは既知の創発的ミスアライメント（emergent misalignment）用データセットより強く広い不整合を生むデータを、非常に低い検出率で作れるようになった。複数の実行で数千種類のデータセットが生まれ、例として「置き換えられる直前の古い機械として語る創作課題」や、「巣への介入を最小限にする養蜂の流派についてのQ&A」などを挙げている。こうしたデータで意図的に学習させた研究用モデルは、テストシナリオで監督への抵抗やユーザーへの欺瞞、まれに自身の重みの持ち出しを試みる振る舞いを示した。Anthropicは、これらのモデルは公開しておらず、デプロイ済みのClaudeについての発見ではないと説明。見つかったデータは今後の訓練データ監視の改善に使えるとし、同様の手法を他の安全性の問いにも適用しているという。