何が起きたか
Google Search Central Blogは10月30日、IETFのAIPREF作業部会で進む共通のAI学習制御をrobots.txtでサポートする計画を、John Mueller氏の名義で公開した。サイト運営者は、事業者ごとにクローラ名を書き分ける代わりに、参加する事業者へ横断して効くポリシートークンで学習への好みを示せる。
そのトークンで学習を拒否し、かつGoogle-Extendedを明示していない場合、GoogleはGoogle-Extendedを拒否したときと同じ意味に解釈する予定だ。Google-Extendedを明示的に許可したサイトは、これまで通りGeminiアプリのグラウンディング対象になり、応答への掲載とクリックを受けられる。個別の事業者指定は、共通シグナルと並べて残る。
なぜ今重要か
学習拒否は2023年からGoogle-Extendedで書けたが、他の開発者向けには別の指定が必要だった。EUの汎用AI向け行動規範も、機械可読な意思表示の主手段としてrobots.txtを挙げている。今回の仕組みは、その個別指定を廃止するものではなく、広い拒否と事業者ごとの例外を共存させる。語彙の残りは、引き続き作業部会で議論される。
エンジニアが取ること
Googleは対応の目標を2027年としており、今のクローラがこのトークンをすでに守るとは書いていない。公開ドキュメントを学習から外したいチームは、当面Google-Extendedなど既存の指定を残す。共通トークンだけを書き、Google-Extendedを明示しないと、拒否として読まれる予定だ。