자원 부족한 독립 연구자의 ML 논문, 주요 학회에서 거절당하다

독립 연구자의 좌절

r/MachineLearning 커뮤니티에 올라온 한 포스트가 1,700명 이상의 공감을 받으며 ML 연구 생태계의 현실에 대한 논쟁을 불러일으키고 있습니다. 한 연구자가 제한된 자원으로 multimodal learning 영역을 개선하는 방법을 연구한 경험을 공유했습니다.

연구 내용과 제출 결과

이 연구자는 500M 파라미터 규모의 소형 모델로 실험을 진행했습니다. 자신의 방법이 같은 규모의 현대 방법들보다 더 나은 성능을 보였지만, 대형 모델이나 대규모 학습으로 확장하기 위한 자원이 없었습니다. 대신 수평적 확장 방식을 택했습니다. 더 많은 평가와 깊은 방법론 분석을 통해 다른 연구자들이 더 큰 규모에서 재현할 수 있는 작은 통찰들을 모아 논문을 구성했습니다.

논문은 CVPR에 제출됐고 5/3/3의 리뷰 점수를 받았습니다. 이는 평균 이상의 점수였지만, 최종적으로 거절됐습니다. 핵심 이유는 대형 모델과의 비교 실험 부재였습니다.

ML 연구의 구조적 문제

이 사연에 대한 커뮤니티의 반응은 거대한 공감으로 이어졌습니다. 많은 연구자들이 현대 ML 연구가 사실상 엔지니어링 경쟁으로 전락했다고 지적합니다. 모델의 한 구성요소를 약간 조정해 일부 벤치마크에서 조금 더 나은 결과를 얻은 후 이를 새로운 아이디어로 포장하는 논문들이 학회를 점령하고 있다는 것입니다.

반면, 실제로 새로운 통찰을 제공하지만 대규모 계산 자원이 없는 독립 연구자나 소규모 기관의 연구는 거절되는 악순환이 벌어지고 있습니다.

민주화 vs. 자원 경쟁

AI 연구의 민주화를 위해서는 자원이 부족한 연구자들도 의미 있는 기여를 할 수 있는 평가 체계가 필요합니다. 아이디어의 참신성과 통찰의 깊이가 연산 자원의 규모보다 중요하게 평가받아야 한다는 목소리가 높아지고 있습니다.