Spatial-IQ, 인간 82.1% 대 모델 17.7%로 드러난 공간추론 병목

정답률보다 실패 구조를 보는 벤치마크

멀티모달 모델이 이미지를 본다고 해서 공간 구조를 사람처럼 세는 것은 아니다. NVIDIA AI는 X에서 "Humans count the boxes in this image, hidden ones included, with 82.1% accuracy. The best off-the-shelf multimodal model manages 17.7%"라고 썼다. 원문은 X 게시물에서 볼 수 있다.

Spatial-IQ는 NVIDIA Research가 공개한 진단형 벤치마크다. 프로젝트 페이지는 3D object counting을 하나의 최종 점수로 보지 않고, 열 세기, 층 파악, 보이는 블록과 숨은 블록 추론처럼 9개 계층적 공간 지각·인지 하위 과제로 나눈다. 연구진은 사람이 이 계층을 조합해 총 개수를 세지만, 현재 MLLM은 중간 단계가 어긋나면서 최종 답도 무너질 수 있다고 설명한다.

숫자가 이 차이를 선명하게 보여준다. 트윗 기준 인간은 숨은 상자까지 포함해 82.1% 정확도를 기록했고, 최고 범용 멀티모달 모델은 17.7%에 머물렀다. 반면 Spatial-IQ 하위 과제로 훈련한 Qwen2.5-VL-32B는 물체 세기 정확도가 2.9%에서 62.6%로 상승했다. 단순히 더 큰 모델을 쓰는 대신 어디서 공간 추론이 깨지는지 찾아 훈련하는 경로를 제시한 셈이다.

NVIDIA AI 계정은 GPU와 연구 스택, 모델 최적화, 추론 인프라 소식을 자주 전한다. 이번 게시물의 관전점은 Spatial-IQ가 독립 연구자에게 얼마나 재현 가능한 평가 도구가 되느냐다. 다음에는 다른 MLLM, 영상 입력, 로봇 조작 과제에서 같은 계층형 진단이 성능 개선으로 이어지는지 확인해야 한다.