Hacker News, NanoGPT Slowrun의 데이터 효율 10배 주장 주시... 고정 데이터 시대의 새 실험

HN이 본 핵심은 모델보다 스케일링 가정이었다

2026년 3월 19일 Hacker News 스레드에서 NanoGPT Slowrun 글은 크롤링 시점 기준 162점과 43개 댓글을 기록했다. Q Labs가 내세운 핵심 주장은 강하다. 총합 18B parameter 규모의 1.8B parameter ensemble을 100M token으로 학습시켜, 보통 1B token이 필요하다고 보는 standard language model baseline에 맞먹는 결과를 얻었다는 것이다. 요지는 더 많은 compute와 다른 training structure가 추가 데이터의 일부를 대체할 수 있다는 주장이다.

원문은 이 실험을 기존 scaling guidance에 대한 정면 도전으로 제시한다. 100M token이면 보통 Chinchilla식 직관상 5M 안팎 model을 떠올리지만, 이 프로젝트는 훨씬 과매개변수화된 영역으로 이동한다. Q Labs가 중요했다고 설명하는 축은 네 가지다. 첫째, 여러 model을 따로 학습한 뒤 inference에서 logits를 합치는 ensemble. 둘째, 바로 이전 model만 teacher로 삼는 chain distillation. 셋째, 통상보다 훨씬 강한 regularization. 넷째, 중간 layer를 여러 번 재방문하는 looped transformer 구조다. 여기에 exclusive self attention, EMA, tuned residual lambda, U-Net style skip connection, SwiGLU 같은 architectural tweak도 더해졌다고 적었다.

무엇을 의미 있게 봐야 하나

이 글이 흥미로운 이유는 “새 scaling law가 확정됐다”가 아니라, frontier 연구가 다른 regime을 진지하게 실험하고 있다는 점에 있다. 즉 data가 고정돼 있을 때 model을 작게 줄이는 대신, overparameterized setup과 ensemble dynamics를 활용해 generalization을 회복하려는 시도다. 만약 이런 접근이 더 넓은 환경에서 재현된다면, GPU 확보 속도가 token 확보 속도보다 빠른 팀에게는 상당히 중요한 방향이 될 수 있다.

다만 이 페이지는 peer-reviewed benchmark paper가 아니라 lab write-up이다. 중간 결과, PR 단위 실험, 향후 100x data efficiency 목표가 한 문서에 함께 섞여 있다. 따라서 더 정확한 해석은 “결론이 끝난 연구”가 아니라 “HN이 주목한 유망한 research thesis”다. 그럼에도 이 글이 의미 있는 이유는 명확하다. 데이터 부족이 다음 bottleneck이 될 수 있고, aggressive ensemble-first training이 그 우회를 시도하는 하나의 실전 가설로 제시됐기 때문이다.