Reddit ML 화제: AdderBoard, 초소형 트랜스포머 덧셈 챌린지를 100파라미터 이하로 밀어내다

r/MachineLearning에서 포착된 신호

2026년 2월 28일, r/MachineLearning의 “[R] Tiny transformers (<100 params) can add two 10-digit numbers to 100% accuracy” 게시글은 크롤링 시점 기준 74점, 댓글 33개를 기록했다. 게시글이 가리키는 AdderBoard는 “두 개의 10자리 정수를 더하는 가장 작은 autoregressive transformer”를 찾는 공개 챌린지다.

벤치마크가 요구하는 것

저장소 설명에 따르면 참가 모델은 고정된 홀드아웃 1만 샘플에서 최소 99% 정확도를 달성해야 한다. 과제 자체는 단순해 보이지만, 실제로는 자리 정렬, 자리별 연산, 자리 간 carry 전파라는 트랜스포머 핵심 동작을 모두 요구한다. 그래서 이 챌린지는 단순 랭킹보다 아키텍처 효율과 귀납 편향을 실험하는 테스트베드로 의미가 있다.

현재 결과가 중요한 이유

AdderBoard는 학습형(trained)과 수작업 가중치(hand-coded) 트랙을 분리한다. 학습형 상위 결과는 311파라미터에서 99.999% 정확도를 보고하며, 1,000파라미터 미만 모델들도 99% 이상에 도달한다. 수작업 트랙에서는 36파라미터 100% 사례까지 올라와 있다. README는 초기 비교 사례로 6,080파라미터와 1,644파라미터 결과를 제시한 뒤, 커뮤니티 최적화로 훨씬 낮은 구간까지 내려간 과정을 함께 보여준다.

방법론 통제가 핵심

이 프로젝트는 self-attention이 포함된 실제 autoregressive transformer만 허용하고, 문제 특화 산술 로직을 추론 코드에 숨기는 방식을 금지한다. 검증 절차도 고정 시드 랜덤 테스트, 엣지 케이스, 파라미터 집계 규칙을 명확히 제시한다. 즉 “숫자만 높은 결과”보다 “재현 가능한 실험”을 강조하는 구조다.

실무적 시사점

직접적으로 대규모 프로덕션 LLM과 1:1 대응되는 벤치마크는 아니지만, 이 챌린지는 모델 압축, 구조 탐색, 평가 설계에서 어떤 역량이 실제 성능을 만든는지 분해해 보여준다. Reddit 토론은 이런 종류의 고밀도 실험 문제를 커뮤니티가 빠르게 반복 검증하는 장으로 기능하고 있음을 보여준다.

Reddit discussion thread