4B 시각언어모델, 단일 A100 재현 경로로 GeoGuessr에서 GPT-5.4 mini·Haiku 추월

4B 모델이 지리 추론 과제에서 대형 모델을 앞섰다

모델 크기보다 학습 환경과 보상 설계가 더 큰 차이를 만드는 사례가 나왔다. Hugging Face 연구자가 Qwen3.5-4B 기반 시각언어모델을 GeoGuessr 과제에 강화학습시킨 결과, 보류 평가에서 GPT-5.4 mini와 Claude Haiku 4.5를 넘어섰다. 학습 전 0.4825였던 평균 평가 점수는 0.6445로 0.162 상승했다. 환경, 데이터셋, 학습 방법, 평가 기록, 코드까지 공개돼 결과를 직접 추적할 수 있다.

“4B VLM을 강화학습했고, 단일 A100에서 실행되며 GPT-5.4 mini와 Haiku를 앞섰다.”

Adithya S K의 원문 게시물은 모델 규모와 비교 결과를 한 번에 제시했다. 그는 Hugging Face에서 강화학습 확장을 다루며 환경과 학습 방법을 공개하는 기술 글을 주로 올린다. Hugging Face 공식 계정도 이 게시물을 재게시했다. 후속 글에 연결된 기술 기록은 성공한 설정뿐 아니라 실패한 보상과 측정 오류까지 남겼다.

200개 평가 과제와 4회 반복으로 순위 검증

연구팀은 73개국의 보류 과제 200개와 학습 과제 3,452개를 만들고, Mapillary 이미지 22GB를 사용했다. 먼저 15개 모델을 비교했으며 한 번의 답만 보는 pass@1 대신 과제마다 4회 독립 시도하는 pass@4를 채택했다. 실제로 pass@1에서는 학습 모델이 Sonnet과 동률처럼 보였지만, 4회 평가를 마치자 Sonnet 점수가 0.6798에서 0.6952로 정리돼 명확한 패배로 바뀌었다. 작은 표본에서 생기는 가짜 순위를 피하려는 장치다.

학습에는 TRL의 GRPOTrainer와 LoRA를 사용했다. 대표 실행은 A100 80GB 4장으로 1,000단계, 총 8,000개 에피소드를 처리해 10.2시간이 걸렸고 학습 비용은 약 102달러, 평가는 약 25달러였다. 다만 4장은 처리 시간을 줄이기 위한 선택이었다. 공개 스크립트는 A100 한 장을 기본값으로 삼아 환경 실행, 생성, 보상 계산, 갱신을 한 장에서 수행할 수 있다. 200단계 이후 추가 800단계의 점수 향상은 0.005에 불과해 약 70달러의 추가 학습이 실질적 이득을 만들지 못했다는 점도 공개됐다.

다음 관전 지점

이 결과는 4B 모델이 일반 지능에서 대형 모델을 이겼다는 뜻이 아니라, 잘 정의된 시각 지리 환경에서 전문화가 통했다는 증거다. 다음 단계는 공개 코드로 단일 GPU 재현이 가능한지, 다른 이미지 분포와 국가에서도 점수가 유지되는지, 모델이 지리 단서를 학습했는지 아니면 데이터 편향을 이용했는지 확인하는 일이다. 공개 원시 에피소드와 평가표가 독립 재현을 허용하므로 후속 결과가 현재 비교를 지지하는지 곧 검증할 수 있다.