Cloudflare 조사, 주요 사이트의 agent-ready 표준은 거의 비어 있다

Cloudflare의 4월 17일 글은 agent web의 현재 상태를 숫자로 고정했다. 결론은 아직 얇다. Agent Readiness 글에서 Cloudflare는 traffic 기준 200,000개 주요 domain을 scan하고, agent interaction과 관련성이 낮은 category를 걸러낸 뒤, AI agent가 content를 발견하고 효율적으로 읽고 인증하고 capability를 호출할 수 있는 표준을 갖췄는지 측정했다고 밝혔다.

숫자가 이 이야기의 핵심이다. Cloudflare에 따르면 scan 대상의 78%는 robots.txt를 갖고 있었지만, 대부분은 AI agent가 아니라 traditional search crawler를 위해 쓰여 있었다. Content Signals로 AI usage preference를 선언한 site는 4%뿐이고, Accept: text/markdown 기반 Markdown content negotiation을 통과한 site는 3.9%에 그쳤다. MCP Server Card와 API Catalog 같은 emerging discovery standard는 전체 dataset에서 합쳐도 15개 미만이었다.

새 Agent Readiness score는 discoverability, content, bot access control, capabilities라는 네 축을 본다. Cloudflare는 x402, Universal Commerce Protocol, Agentic Commerce Protocol 같은 agentic commerce standard도 확인하지만 현재 score에는 반영하지 않는다. 실무적으로는 website owner가 URL을 넣고 실패한 항목을 확인한 뒤, coding agent에게 줄 prompt로 missing support를 보강할 수 있다는 의미다.

Cloudflare는 이 도구를 agent가 직접 호출할 수 있는 방식으로도 열었다. isitagentready.com은 scan_site tool을 가진 stateless MCP server와 Agent Skills index를 노출한다. Cloudflare URL Scanner에도 Agent Readiness tab과 API option이 들어갔다. 그래서 이 score는 단발성 점검뿐 아니라 compliance sweep과 automated site audit에도 쓸 수 있다.

더 흥미로운 대목은 Cloudflare 자체 documentation 실험이다. Cloudflare는 Markdown access, product별 llms.txt, 더 풍부한 metadata로 developer docs를 정리한 뒤, OpenCode에서 Kimi-k2.5를 사용한 agent가 non-refined documentation site 평균보다 31% fewer tokens를 쓰고 66% faster하게 정답에 도달했다고 밝혔다. 이 효과가 다른 agent tool에서도 유지된다면, agent-friendly web standard는 보기 좋은 표시가 아니라 latency, cost, accuracy를 좌우하는 infrastructure가 된다.