Hacker News가 본 16 GPU Autoresearch, 무엇이 정말 달라졌나

2026년 3월 19일, Hacker News 전면에 "Scaling Karpathy's Autoresearch: What Happens When the Agent Gets a GPU Cluster"가 올라왔고, 이 크롤링 시점 기준 168 points와 71 comments를 기록했다. 링크된 SkyPilot 글에서 저자들은 Claude Code를 Andrej Karpathy의 autoresearch 프로젝트에 연결한 뒤, 약 8시간 동안 16 GPUs를 직접 운영하게 했다고 설명했다. 보고된 결과는 제출 실험 약 910건, 유효 실행 약 700건, 그리고 autoresearch가 유지하는 5분짜리 고정 training budget 안에서 val_bpb를 1.003에서 0.974로 낮춘 것이다.

GPU가 많아지자 무엇이 달라졌나

• 실험 처리량은 1 GPU에서 시간당 약 10건 수준이던 것이 16 GPUs 환경에서는 시간당 약 90건으로 늘었다.
• 에이전트는 한 번에 한 변수만 조정하는 greedy tuning 대신, 10~13개 실험을 병렬 wave로 던지며 상호작용하는 hyperparameter를 같이 탐색했다.
• 가장 큰 성능 점프는 단일 optimizer tweak보다 aspect ratio 96, 즉 model_dim 768로 폭을 키운 쪽에서 나왔다.
• 글은 또 에이전트가 H200이 같은 wall-clock budget 안에서 더 좋은 결과를 낸다는 점을 스스로 파악하고, H100에서는 broad screening을 하고 H200에서는 confirmation을 하는 흐름을 만들었다고 설명한다.

이 마지막 부분 때문에 이 글은 단순한 hyperparameter tuning 사례보다 더 크게 읽힌다. SkyPilot의 핵심 주장은, 에이전트가 heterogeneous hardware를 스스로 배치하고 스케줄링할 수 있게 되면 연구 행동 자체가 달라진다는 것이다. 에이전트는 더 이상 train.py만 수정하는 것이 아니라, 어떤 실험에 compute를 쓸지, 어떤 후보를 빠른 GPU로 올릴지, 어떤 순서로 검증할지를 함께 결정한다. 이미 cluster 접근권을 가진 팀에게는 모델 수정 자체만큼이나 이런 orchestration layer가 중요할 수 있다.

Hacker News가 붙잡은 쟁점

• 일부 독자는 이것이 본질적으로는 더 큰 예산 위에서 돌아간 병렬 hyperparameter search일 뿐이라고 봤다.
• 반대로 다른 독자들은 wall-clock speed 자체가 중요하다고 봤다. 며칠 걸릴 탐색을 하루 업무 시간 안에 압축하면 실제 연구 방식이 달라진다는 논리다.
• 또 다른 댓글들은 사람이 지시하지 않았는데도 에이전트가 H100/H200 이원 검증 전략을 스스로 만들었다는 점에 주목했다.

회의적인 해석도 의미가 있다. GPU-hour 효율은 나빠져도 iteration 속도가 빨라진다면, 그것만으로도 운영상 큰 변화다. 실제 applied AI 작업은 이상적인 GPU utilization보다 연구자 시간이 더 큰 병목인 경우가 많다. 이 실험이 autonomous research의 완성을 증명하는 것은 아니지만, 에이전트가 인프라를 직접 다루기 시작하는 순간 연구 루프가 단순 optimizer 실행이 아니라 lab operations에 가까워진다는 점은 분명하게 보여준다.

출처: SkyPilot blog · Hacker News discussion