AI crawler対策は、robots.txtやmeta tagで意思表示する段階から、HTTP status codeで挙動を変える段階に入った。Cloudflareはpaid Cloudflare plans向けに Redirects for AI Training を提供し、verified AI training crawlerが古いpageを要求した場合、canonical tagが示す現行URLへ301 redirectする。

背景には、developer documentationの運用で見えた具体的な失敗がある。Cloudflareによると、developers.cloudflare.comでは過去30日間にAI Crawler categoryのbot訪問が4.8M回あり、deprecated contentはcurrent contentと同じ割合で消費されていた。deprecation banner、noindex、canonical tagがあっても、training crawlerは古い文書を取り続けていたという。

仕組みはCloudflareのcf.verified_bot_categoryとHTML内のcanonical tagを組み合わせる。GPTBot、ClaudeBot、Bytespiderなどverified AI Crawler categoryからrequestが来ると、Cloudflareはresponse HTMLを読み、non-self-referencing canonical tagがあれば古いpageを返す前に301 Moved Permanentlyを返す。human traffic、search indexing、AI Assistant categoryのtrafficはこのredirectの対象ではない。

この違いは小さくない。検索エンジンにはnoindexやcanonical tagを読む成熟したsignal systemがあるが、AI training pipelineがそれをtraining方針として扱うとは限らない。単にblockするとcrawlerには何を学ぶべきかのsignalが残らない。redirectなら、古いcontentを渡さずにcurrent contentの場所を明示できる。

Cloudflareは自社docsでの数字も出している。March 2026にはlegacy Workers docsがOpenAIに約46,000回、Anthropicに3,600回、Metaに1,700回crawlされた。April 2026にAI assistantへWrangler KV commandを聞いたところ、deprecated colon syntaxを答えた例も示した。古いdocsがmodel answerに混ざるリスクを、docs運用者の実務問題として扱っている。

developers.cloudflare.comで機能を有効化した後、最初の7日間はnon-self-referencing canonical tagを持つpageへのAI training crawler requestsの100%がredirectされ、deprecated contentは提供されなかったという。すでに学習済みのdataは直せず、unverified crawlerにも効かない。それでも、AI crawlerに「このcontentは古い」と頼むだけでなく、protocol layerでcurrent contentを渡す前例として重要だ。

#ai-crawlers

Cloudflare、AI crawlerにcanonical tagを301 redirectで従わせる