딥러닝 이론화 선언에 r/MachineLearning 반응, 과장보다 프로그램

r/MachineLearning은 "There Will Be a Scientific Theory of Deep Learning"을 AGI 선언문처럼 소비하지 않았다. lead author가 올린 소개 글은 14명 공동 저자 perspective paper를 바탕으로, 딥러닝 이론이 training dynamics, 거시적 법칙, hyperparameter, universal phenomenon을 축으로 하나의 과학으로 묶일 수 있다고 주장한다. 커뮤니티가 반응한 이유는 문장이 크기 때문이 아니라, 흩어진 연구를 프로그램처럼 정리하려 했기 때문이다.

논문이 붙인 이름은 learning mechanics다. worst-case bound나 고립된 toy proof만 붙잡지 않고, 모델이 실제로 어떻게 학습하고 어떤 representation을 만들며 어떤 거시 통계가 반복해서 나타나는지를 설명하는 과학을 세우자는 제안이다. 좋아한 댓글들도 스케일 큰 선언을 칭찬한 것이 아니다. 이론 작업을 공통 vocabulary와 수학적 discipline 안으로 묶으려는 시도라는 점을 높게 봤다. mechanistic interpretability와 어떻게 만날지도 흥미로운 연결점으로 읽혔다.

반론도 생산적이었다. 가장 먼저 붙은 불만 하나는 사회적이다. 중요한 논문이면 X 스레드로 우회시키지 말고 논문 링크와 설명을 더 앞세우라는 얘기다. 더 중요한 질문은 범위였다. learning mechanics가 neural training 자체만 설명하는가, 아니면 label quality, deployment shift, decision system 같은 바깥 층과도 결국 연결돼야 하는가. 무엇이 falsification이 될지 명확해야 연구 프로그램도 더 단단해진다는 주문도 나왔다.

이 스레드가 올라간 이유도 여기에 있다. r/MachineLearning은 AI가 무엇이 될지에 대한 큰 문장을 매일 본다. 그런데 이 글은 기존 연구 지형을 정리한 지도와 함께 왔고, 다른 연구자가 바로 반박하고 보강할 수 있는 질문을 남겼다. 분위기는 신앙이 아니라 호기심에 가까웠다. learning mechanics라는 이름이 살아남는다면, 이런 공개 검토가 그 출발점이 될 가능성이 크다. 출처는 arXiv 논문과 Reddit 토론이다.