AI
Cloudflare, AI crawler에 canonical tag를 301 redirect로 강제
Cloudflare가 paid plan 고객에게 AI training crawler를 최신 canonical URL로 301 redirect하는 기능을 열었다. 자체 docs에서 30일간 AI crawler 방문 4.8M회를 본 뒤, deprecated content를 학습 데이터로 흘려보내는 문제를 HTTP status code로 막겠다는 접근이다.
2분 소요 37 조회