Cloudflare、AI bot traffic が週100億リクエストを超え CDN cache 再設計の必要性を提示

Cloudflareが見ている変化

2026年4月2日、CloudflareはXで、AI bot trafficがすでに週100億リクエストを超え、cache designに新しい圧力を与えていると述べた。リンク先のブログはその意味をさらに具体化している。AI crawlerは通常のhuman web trafficとは異なる振る舞いをするため、CDNが採用してきたcache policyや全体的なcache architectureそのものを見直す必要があるかもしれない、という主張だ。

このシグナルが重要なのは、単なるAIブーム論ではなく、Internet workloadの性質が実際に変化しているというsystemsの問題として語られている点にある。Cloudflareは、長年のcache前提がもはや最適ではない可能性を示している。

なぜAI trafficはcacheに違う負荷をかけるのか

Cloudflareによれば、同社が観測するself-identified AI botの中で最も活発なのはAI crawlerであり、single-purpose AI bot trafficの大半はtraining向け、searchはそれよりかなり小さい。こうしたworkloadは通常のhuman browsingと違い、大規模で、burstしやすく、localityの性質も異なる。そのため同じcache基盤を共有するhuman trafficのhit rateを悪化させる可能性がある。

従来のCDN cacheは概してhuman traffic向けに調整されてきた。したがって混在workloadでは、eviction policyが合わないだけでbackend負荷が増え、cache効率が落ちることがありうる。

• CloudflareはAI-aware filteringとworkload-specific cache logicの重要性が高まっていると見る。
• 初期実験では、SEIVEやS3FIFOのようなreplacement algorithmが、混在trafficでもhuman hit rateを維持しやすいとしている。
• 長期的には、AI traffic向けのseparate cache layerが最も有力な構造になりうると説明する。

なぜCloudflare以外にも重要なのか

より大きな意味は、AI trafficがapplicationの問題からnetwork systemsの問題へ移っていることだ。crawler中心のAI workloadが拡大し続けるなら、事業者はhuman browsing、real-time AI retrieval、大規模training収集を別々のtraffic classとして扱い、それぞれに異なるcacheやadmission戦略を設計する必要が出てくるかもしれない。

ここから導ける一つの推論は、次のAI infrastructure競争がmodel qualityやGPU supplyだけで決まらないということだ。誰がAI access patternをよりうまく分離し、優先順位をつけ、課金や制御まで含めて扱えるかも競争軸になる。CloudflareがすでにAI Crawl ControlやPay Per Crawlを同じ文脈で語っているのは、その方向を示している。

もちろん注意点はある。これはCloudflare自身の研究と製品文脈であり、業界全体を代表する中立benchmarkではない。それでも、単にAI trafficが増えていると言うだけでなく、具体的なalgorithmとarchitectureの変更案に結びつけている点で十分に高シグナルだ。

出典: Cloudflare X投稿 · Cloudflare blog