Wayback Machine, 봇 대란으로 실사용자도 차단—Internet Archive의 해명

Wayback Machine에 무슨 일이?

인터넷 역사의 보존소라 불리는 Internet Archive의 Wayback Machine이 최근 접속 장애로 많은 사용자의 불만을 샀다. Archive 측 Wayback Machine 디렉터 Mark Graham이 직접 공식 입장을 내놨다.

Graham은 “대규모 자동화 트래픽의 파도에 맞서 서비스를 유지하기 위한 보호 조치를 시행했다”고 밝혔다. 최근에는 429 오류(요청 과다) 메시지도 새로 작성했다.

왜 실사용자까지 막혔나

문제는 방어 조치가 실제 사용자까지 잘못 차단하는 경우가 생겼다는 점이다. Graham은 “그런 경우가 발생했다면 사과드리며, 개선하는 동안 인내를 부탁드린다”고 말했다.

Archive 팀은 악의적인 봇과 Wayback Machine에 의존하는 실사용자를 보다 정확하게 구별하는 능력을 계속 고도화하고 있다고 설명했다. 오류 차단이라 판단되면 운영체제, 브라우저, IP 주소를 [email protected]로 보내면 검토가 가능하다.

자동화 트래픽이 공공 디지털 자원에 미치는 영향

이번 사태는 AI 학습 데이터 수집, 상업용 스크래핑 등 자동화 트래픽이 급증하면서 공공 디지털 인프라가 받는 압박을 보여주는 사례다. 비영리로 운영되는 Internet Archive는 상업 클라우드 사업자와 달리 무한정 인프라를 확장하기 어렵다.

Wayback Machine은 수백억 건의 웹페이지 스냅샷을 보유한 세계 최대의 디지털 아카이브로, 연구자, 저널리스트, 법률 전문가 등이 폭넓게 활용한다. 접근성 저하는 단순한 불편을 넘어 디지털 기록의 공공 접근성 문제로 이어진다.

HN에서 647점을 기록한 이 소식은 자동화 봇이 공공 웹 자원에 미치는 실질적 영향에 대한 논의를 다시 촉발시켰다.