Karpathy, autoresearch로 nanochat Time to GPT-2 약 11% 단축 주장

Andrej Karpathy는 2026년 3월 9일 X에서 자신의 open-source autoresearch setup이 nanochat의 Time to GPT-2를 2.02 hours에서 1.80 hours로 낮췄다고 밝혔다. 약 11 percent 개선이라는 설명이다. 그는 depth=12 model에서 agent가 약 2일 동안 자율적으로 실험하며 약 20개의 additive improvement를 찾았고, 전체적으로는 약 700개의 변경을 탐색한 뒤 결과를 depth=24 model로 옮겼다고 말했다.

이번 주장이 주목받는 이유는 autoresearch가 단순한 hyperparameter sweep이 아니기 때문이다. Karpathy가 공개한 repo README에 따르면 이 프로젝트는 AI agent가 작은 but real training setup을 직접 수정하고, 5분짜리 실험을 반복해 validation bits per byte를 측정한 뒤 결과가 좋아지면 남기고 아니면 버리는 방식으로 돌아간다. 기본적으로 agent는 train.py를 주로 수정하고, 인간은 program.md를 바꿔 연구 방향을 제어한다.

Karpathy는 이번 라운드의 결과를 반영한 commit도 공개했다. 설명에 따르면 변경은 optimizer와 schedule, attention scaling, initialization, attention window, regularization 전반에 걸쳐 있다. 그는 post-QK-norm scaling으로 attention을 더 날카롭게 만들고, Adam 설정을 group별로 조정하고, weight decay schedule과 value embedding regularization을 다시 튜닝한 예를 직접 언급했다.

다만 이 결과는 독립 감사가 끝난 benchmark가 아니라 Karpathy 본인의 source claim으로 읽는 것이 맞다. 그는 스스로 이 작업이 아직 novel research는 아니라고 적었고, 핵심 메시지를 수치 자체보다 engineering proof point에 두고 있다. 즉 agent swarm이 과거에는 사람이 반복적으로 하던 training 개선 탐색을 이미 어느 정도 대체할 수 있다는 주장이다.

이 접근이 더 넓은 규모에서도 통한다면, 향후 모델 개발 스택의 병목은 세부 training tweak를 손으로 쓰는 일보다 evaluation loop, 제약 조건, research instruction을 어떻게 설계하느냐로 이동할 수 있다. 작은 실험을 더 큰 run의 proxy로 삼을 수 있는 팀이라면 특히 이런 형태의 autoresearch를 빠르게 시험해볼 가능성이 커 보인다.