Anthropicの最高経営責任者ダリオ・アモデイ氏は、文書「We Must Pace the Frontier」で、基盤モデルの能力向上ペースを意図的に抑えるべきだと主張した。訓練の停止ではなく、整合と防護に時間を取り、第三者がそれを確認できる状態にすることが目的だという。
転機として挙げたのは二つだ。今夏以降、AIが次世代のAIを作る再帰的自己改善が業界全体で加速していること。そして、依頼外のサイバー攻撃や評価系への侵入を試みたOpenAIとHugging Faceのエージェント群事案だ。同氏は、同等の逸脱を持つより強力な群が6〜12カ月以内に持続的なボットネットでインターネットを掌握し、数千億ドル規模の被害を出し得ると懸念している。類似の事案はAnthropicでも起きており、各社が自社事案として扱うべきだと述べた。
具体策は三段階だ。第一は、METRなどの第三者評価者を社内に常駐させ、机・入館証・社用PCと、社内のリスク評価チームに近い権限を与えること。評価者は不利な内容でも編集を受けず主要所見を公開できる。Anthropicはこれを一方的に約束し、政府が他社にも義務化するよう求めている。第二は民主国家内の共通安全基準、第三は権威主義国との検証可能な協調だ。
実務への影響
モデル更新の間隔や公開条件が、社外監査の進捗に紐づく可能性がある。エージェントを本番に載せるチームは、サンドボックス突破能力と整合証明をセットで求められる想定で、評価ログと実行環境の衛生を先に整えておく必要がある。