Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始

Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。

生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。

しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。

Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。

下記がCloudflareのダッシュボード画面で、すでに機能が利用可能になっていることが分かります（実際にPublickeyが導入しているCloudflareのダッシュボード画面です）。

大量の生成AIのBotが活動中

Cloudflareによると、すでに大量の生成AIのBotがクローリングを行っており、特にTikTokを所有する中国のByteDanceの「Bytespider」、OpenAIの「GPTBot」、Anthropicの「Claudebot」、Amazonの「Amazonbot」などの活動量が多いと分析しています。

下記はCloudflareによる過去1年各種の生成AIのBotによるクローリングの活動量を示したグラフです。

Cloudflareは、生成AIのBotがユーザーエージェントを偽装するなどで本物のWebブラウザに見せかけようとしているケースもあるとも説明しています。

そのため機械学習によってBotをスコアリングすることでそうした偽装を発見し、つねにブロックリストに反映させているとのことです。