「検索」「エージェント」「学習」で線引き ― CloudflareのAIクローラー制御はどう変わったのか

AI・テクノロジートレンド・レポート不正手口・対策

AI・不正検知技術

不正トレンド

「検索」「エージェント」「学習」で線引き ― CloudflareのAIクローラー制御はどう変わったのか

「自社サイトの専門記事や独自の調査データが、いつの間にかAIモデルの“学習素材”として使われていた」——そうした懸念を持つ企業担当者も増えているのではないでしょうか。

検索エンジンのクローラーであれば、読み取ったページの内容は検索結果への表示や引用にとどまり、そこから自社サイトへの送客という見返りも期待できます。

しかし、AIの学習を目的としたクローラーの場合は事情が異なります。一度取り込まれたコンテンツはモデルの中に残り続け、後から「学習に使わないでほしい」と申し出ても、すでに学習済みのモデルからそれだけを取り消すことはできません。

こうした状況を受けて、Cloudflareは2026年7月1日、AIクローラー（AIが情報収集のために自動巡回させるプログラム）へのアクセス制御ポリシーを見直したと発表しました。本記事では、この変更内容を整理します。

何が変わったのか ― 3つの利用目的による線引き

これまでCloudflareは、AIクローラーを「AIか、そうでないか」という大まかな区分でしか管理できませんでした。今回の発表では、これを利用目的に応じた3つのカテゴリーに分けて管理できるようにしています。

「Search」：コンテンツを検索結果に反映するためのクローラー
「Agent」：ユーザーの代わりにリアルタイムで動作するAIエージェント用のクローラー
「Training」：AIモデルの学習・追加学習のためのクローラー

さらに、2026年9月15日以降は新規サイトを対象に、既定の設定そのものも変更されます。広告を掲載しているページにおいて、「Training」と「Agent」に分類されるクローラーは初期設定でブロックとなり、一方で「Search」に分類されるクローラーは初期設定で許可となります。広告収益は人間の閲覧があって初めて成立するため、この部分ではAIによる自動収集を制限する、という考え方が背景にあるとされています。

コンテンツの使われ方も、段階的に選べるように

もう一つの変更点が、コンテンツの利用範囲を細かく指定できるようになったことです。Enterprise向けの機能として、次の3段階が用意されています。

「Immediate」：保存・再利用を認めない
「Reference」：インデックス化や引用・リンクとしての利用は認める
「Full」：要約や全文転載としての利用まで認める

また、これまで「認証済みボット（Verified Bot）」として登録されていれば一律にアクセスが許可されていた仕組みも見直され、カテゴリーごとに許可・不許可を判断できるようになりました。取り決めたコンテンツ利用ポリシーに違反した場合には、認証ステータスが取り消される可能性がある、とされています。

「使うなら払う」という選択肢 ― Pay Per Crawl

今回の一連の変更の中で注目されているのが、「Pay Per Crawl」と呼ばれる仕組みです。これは、AIクローラーがサイトのコンテンツを取得・利用するたびに、サイト運営者側に対価が支払われるという課金モデルです。

現時点ではまだ試験提供の段階で、Ceramic.aiやYou.comといった企業との連携ですでに運用が始まっており、AI側のサービスの検索結果などにコンテンツが表示されたタイミングで支払いが発生する形が採られています。海外メディアでは、この動きについて「AI企業がパブリッシャー側のコンテンツ利用に対価を支払う流れを後押しするものだ」という報じられ方もされています。

サイト運営者からみると、これまでは「ブロックするか、許可するか」の二択に近かったAIクローラーへの対応に、「対価を得たうえで許可する」という第三の選択肢が加わったことになります。

まとめ：見えないアクセスとどう向き合うか

Cloudflareは自社のネットワークがインターネットトラフィック全体の約2割を経由していると説明しており、その規模を活かして、どのAIクローラーが・どの程度の頻度で・自社ルールを守ってアクセスしているかを可視化する機能も、あわせて提供するとしています。

今回の変更は、AIによる情報収集が既定路線として広がっていく中で、コンテンツを「無条件に差し出す」か「一律に締め出す」かの二択ではなく、目的別・段階別に条件を設定し、対価を伴う形で許諾するという選択肢を持てるようにする動きだと言えます。自社サイトのコンテンツがどのように扱われているかを把握し、方針を検討すること自体は、業種を問わず今後向き合う機会が増えていきそうです。

出典：