딥러닝 이론화 선언, HN이 길게 붙은 이유

논문보다 주장 자체가 먼저 먹혔다

Hacker News가 이 글을 오래 붙잡은 이유는 결과표가 아니라 야심이었다. 저자들은 딥러닝이 이제 단순한 경험 법칙 묶음이 아니라, 훈련 과정과 표현 형성, 최종 가중치, 성능을 설명하는 과학 이론으로 묶일 수 있다고 밀어붙인다. HN 반응도 그 지점에서 갈렸다. “드디어 이론이 붙기 시작한다”는 기대와 “제목이 너무 세다”는 반론이 동시에 올라왔다.

논문은 2026년 4월 23일 arXiv에 올라왔고, 이른바 learning mechanics라는 이름 아래 다섯 갈래를 한데 묶는다. 이상화된 문제 설정, 해석 가능한 극한, 거시적 수학 법칙, 하이퍼파라미터 이론, 여러 시스템에 공통으로 나타나는 보편적 거동이 그 축이다. 저자들의 포인트는 모든 가중치를 미시적으로 풀어내겠다는 게 아니다. 훈련 동역학과 표현 형성에 대해 반증 가능한 정량 예측을 만들 수 있는 수준까지 왔다는 주장이다.

HN이 물고 늘어진 쟁점

호평 쪽은 이 논문이 흩어진 이론 연구를 하나의 지도처럼 정리했다는 점을 높게 봤다. 스레드에서는 open problems 섹션이 가장 값진 부분이라는 평가도 나왔다. 반대쪽은 더 날카로웠다. 아키텍처와 학습 법칙만으로는 부족하고, 인터넷 규모 데이터의 무질서와 편향까지 함께 설명하지 못하면 “과학 이론”이라는 말은 아직 이르다는 지적이다. 몇몇 댓글은 이 글을 완성된 이론보다, 앞으로 이론이 어디를 파고들어야 하는지 제시한 연구 프로그램으로 정리했다.

왜 중요한가

이 논쟁은 제목 싸움으로 끝나지 않는다. learning mechanics가 실제로 유효해지면, 지금의 딥러닝 연구는 시행착오 중심의 레시피 탐색에서 더 예측 가능한 설계와 실패 분석으로 이동할 수 있다. HN에서도 환각 문제와 연결하는 반응이 있었다. 모델이 어디서 무너지는지 사후 측정만 하는 대신, 훈련과 표현의 거시 법칙에서 미리 신호를 잡을 수 있느냐는 질문이다. 논문이 그 답을 끝냈다고 말할 수는 없다. 다만 딥러닝 이론이 이제는 스케일링의 반대말이 아니라, 스케일링 결과를 압축해 설명하려는 다음 층이라는 점만은 분명하게 남겼다.

출처: arXiv 논문 · Hacker News 토론