5090 GPU 한 장에서 1.5시간 동안 처음부터 학습한 소형 autoregressive transformer가 ARC-AGI-1 공개 평가에서 44%를 기록했다. 전체 학습과 추론에 든 비용은 67센트다. 연구자 Mithil Vakde는 같은 방식의 test-time training을 쓰는 TRM·HRM과 비슷한 점수이며 ARC-AGI-2에서도 7%를 얻었다고 설명한다. 거대 LLM의 사전학습 비용을 기대지 않고, 약 1,000개 퍼즐처럼 작은 표본에서 어디까지 갈 수 있는지를 묻는 실험이다.

표현 방식이 점수를 만들었다

입력과 출력의 2차원 격자를 토큰 열로 바꾸고, 퍼즐마다 별도의 학습 가능한 embedding을 붙인다. 행·열·토큰 위치를 함께 다루는 3D RoPE와 색상·회전·대칭 변환도 사용한다. 이번 버전은 4개 층을 8개로 늘리고 GELU를 SwiGLU로, LayerNorm을 RMSNorm으로 교체했다. AdamW 중심 최적화는 NorMuon과 보조 AdamW 조합으로 바뀌었다. 가변 길이 FlashAttention과 추론용 FlexAttention은 계산비를 줄였다.

ablation 결과는 모델 크기보다 표현의 중요성을 선명하게 보여준다. 3D RoPE를 1D로 바꾸거나 퍼즐별 embedding을 제거하면 점수가 약 24%로 떨어졌다. 입력 토큰까지 손실에 포함한 기존 학습은 약 39%였고, 출력 토큰만 학습하는 감독 방식은 44%로 올랐다. 검증 손실은 나빠졌는데 실제 퍼즐 점수는 좋아졌다는 대목도 흥미롭다. 작은 데이터에서 낮은 검증 손실만 좇을 때 생기는 사각지대를 드러낸 셈이다.

67센트라는 숫자의 조건

비용 비교에는 주의가 필요하다. 이 실험은 모든 평가 퍼즐을 한꺼번에 학습해 비용을 나눈다. 저자도 퍼즐을 하나씩 만나는 현실과 다르다는 비판을 인정한다. 다만 TRM과 HRM 역시 같은 평가 방식을 쓰며, 여기서는 사전학습을 포함한 평생 계산량을 공개한 반면 LLM 비교표는 보통 막대한 오프라인 학습비를 제외한다. ARC-2에서 ARC-1과 겹치는 773개 퍼즐은 제거해 정답 유출도 피했다고 밝혔다.

커뮤니티 논의는 “평가 입력을 학습하면 부정행위인가”와 “현대적 구성 요소를 적용한 개선을 새로운 표본 효율성으로 볼 수 있는가”를 파고들었다. 정답 label은 숨긴 채 평가 문제의 예시 입력·출력 쌍에서 적응하는 transductive reasoning이라는 것이 저자의 답이다. 반대편에서는 최신 optimizer와 architecture를 한꺼번에 적용하면 방법 자체의 기여가 흐려질 수 있다고 지적했다.

이 결과가 곧 일반 추론의 해결을 뜻하지는 않는다. 대신 단순한 transformer도 적절한 공간 표현과 빠른 실험 주기를 만나면 값비싼 모델이 독점하던 점수대에 접근할 수 있음을 보였다. 저자는 코드와 ablation을 공개했고, 다음 목표로 65%와 비용 10분의 1을 제시한다. ARC의 진짜 쟁점은 순위보다 같은 표본에서 더 많이 배우는 방법으로 이동하고 있다.

원문 읽기

#test-time-training

67센트짜리 소형 transformer, ARC-AGI-1 44%의 의미