Cloudflareは10月16日、Verified Bot向けに、身元確認のあとの振る舞いを見続ける仕組みを公開した。Botの身元はWeb Bot Authの署名で確認してきたが、誰かが分かっていても、サイトの拒否を無視したり制御の回避を試したりする例がある。2025年にPerplexityのボットをVerifiedの一覧から外したのは、オプトアウトされたリソースへアクセスし、ブロックされたあとも回避を試みたためだと同社は書いている。
今回まず測るのは二つだ。robots.txtなどで公開された指示に、観測されたトラフィックが沿っているか。HTTP 429を受け取ったあと、速度を落とすか一時停止するか、同じペースで要求を送り続けるか。一度の逸脱で恒久的に判定するのではなく、繰り返す傾向を説明可能な信頼の幅として蓄積する。点数の公開は今後Radarで行い、測る行動も増やすとしている。
この評価はすでに社内でVerified Botに対して動いている。顧客が信頼のしきい値を選び、そのボットのトラフィックをどう扱うか決められるようにするのは、履歴がたまったあとだ。いま顧客が使えるのは、従来のBot Managementと、公開した意向をポリシーへ揃えるBot Preference Syncである。
サイトを出している側は、robots.txtを最低限の禁止として書き、429を返した相手が実際に落ちるかをログで見る。クローラやエージェントを運営する側は、署名で身元を示していても、禁止パスとレート制限を無視し続ければ信頼の評価が下がる、という扱いに寄っていく。