Alibaba, Qwen3.5 소형 모델 공개: 9B가 GPT-oss 20B~120B 수준 성능 달성

개요

Alibaba의 Qwen 팀이 Qwen3.5 소형 모델 시리즈를 공개했다. 이번 릴리스에는 0.8B, 4B, 9B 세 가지 크기의 모델이 포함되어 있으며, Hugging Face에서 즉시 다운로드 가능하다.

주요 성능

커뮤니티 벤치마크에 따르면 Qwen3.5 9B 모델은 GPT-oss 20B~120B 수준의 성능을 보여준다. 이는 파라미터 수 대비 예외적인 효율성으로, 저사양 GPU를 가진 사용자들도 고품질 추론이 가능해졌다는 점에서 큰 주목을 받고 있다.

0.8B 모델은 모바일 기기 배포를 염두에 두고 개발되었으며, unsloth와 커뮤니티 개발자들이 GGUF 양자화 버전을 빠르게 제공했다.

커뮤니티 반응

LocalLLaMA 커뮤니티에서는 릴리스 직후부터 다양한 양자화 버전이 업로드되었다. 사용자들은 Qwen3.5 시리즈의 thinking 모드에서 과도한 추론으로 인한 정확도 저하 현상에 주의할 것을 권고하고 있다. 온도(temperature)를 0.45 내외로 설정하고 thinking 모드를 끄는 것이 최적의 결과를 낸다는 팁이 공유됐다. 또한 bf16 KV 캐시(f16이 아님)가 필요하다는 기술적 주의 사항도 빠르게 공유됐다.

가용성

Qwen3.5 모델은 Hugging Face에서 다양한 양자화 버전으로 제공되며, unsloth를 통한 GGUF 포맷도 즉시 이용 가능하다.