何が起きたか
Cloudflareは2026年8月21日、Bot Preference Syncを発表した。ゾーンのAIボット設定（Search／Agent／Training）をrobots.txtへ反映し、既存ファイルがある場合は先頭へ追記する。FreeからEnterpriseまで利用でき、近日中に全プランへ展開する。
背景
AIクローラは検索・エージェント・学習が混在しやすく、robots.txtの表明とエッジでの強制がずれると無視や迂回の根拠にされやすい。7月に公開した用途別制御に加え、今回は「設定した方針＝公開する方針」を保つ同期レイヤを足した。Transparency要件を満たす混在クローラの扱いも整理されている。
エンジニアへの影響
サイト運用では、TrainingをDisallowにすると協調的な混在クローラ向けのrobots.txtが生成され、検索可視性を残しつつ学習拒否を表明できる。新規顧客は同期が既定オン、既存のmanaged robots.txt利用者には確認プロンプトが来る。例外合意がある場合は同期を切り、個別ルールとファイルを手で揃える必要がある。