AI 학습 스크래퍼, Linux 커널 서버 트래픽 98% 점유

AI 봇이 kernel.org를 점령하다

Linux 커널 공식 저장소인 git.kernel.org 관리자가 심각한 현황을 공개했다. AI 학습 데이터 수집을 위한 스크래퍼 봇들이 서버 전체 트래픽의 약 98%를 소비하고 있으며, 이는 분산 노드 전체 서버 용량의 20%에 달한다.

최악의 방식으로 크롤링

문제는 양보다 방식이다. 이 봇들은 Git 저장소를 효율적으로 클론하는 대신, HTML 페이지를 커밋 단위로 렌더링한 뒤 파싱하는 방법을 택한다. 저장소 전체를 한 번에 받을 수 있음에도 가장 비효율적인 경로를 고집하는 셈이다.

Anubis의 한계

운영팀은 작업증명(proof-of-work) 방식의 접근 차단 시스템인 Anubis를 도입했다. 초기에는 효과적이었으나, 봇들이 더 높은 난이도의 수학 문제를 풀기 시작하면서 현재는 전체 봇의 33%가 이를 통과하고 있다.

주거용 프록시 네트워크 문제

핵심 난제는 IP 차단의 무력화다. 데이터 수집 기업들이 스마트 TV 등 가전기기를 포함한 주거용 프록시 네트워크를 활용해 분산 공격 패턴을 형성하고 있어, 전통적인 IP 기반 차단이 사실상 불가능하다.

향후 전망

관리자는 단순한 해결책은 없다며 합법적인 사용자들도 기능 제한과 추가 접근 제약을 감수해야 할 수 있다고 경고했다. AI 학습 데이터 수요가 급증하는 가운데, 오픈소스 인프라가 의도치 않은 피해를 입는 구조적 문제가 부각되고 있다.