Cloudflareは9月15日、Bot管理にDisallow AI Trainingを追加した。検索用クロールは通しつつ、同じクローラによる学習利用だけを拒否できる。背景には、Applebot、Bingbot、Googlebotのように検索と学習を兼ねる混合クローラがあり、学習を拒むと検索からも外れる二択だった事情がある。同社はApple、Google、MicrosoftをAccountableと位置づけ、学習拒否が従来の検索順位に影響しないと各社が述べているとする。
同じ日から、Blockおよび広告ページのみBlockは混合クローラにも適用される。学習だけ止めたい場合はDisallow AI Trainingを使う。Block AI BotsとManaged Robots.txtは廃止方向で、Search／Training／Agentの粒度とBot Preference Syncへ移る。学習をBlockにしていたゾーンはDisallow AI Trainingへ移行される。Bingはrobots.txtでの学習拒否対応が2027年初頭予定のため、現時点では自動では伝わらない。
広告収益サイトの新規ドメインには、検索許可、学習拒否、広告ページでのエージェント制限が推奨される。サイト運営側は、学習拒否と検索遮断を取り違えないことが最優先だ。ドキュメントサイトやAPIリファレンスを検索流入に頼るならDisallow AI Training、クローラ自体を止めたいなら明示的なBlockを選ぶ。