llama.cpp에 Qwen3.5 지원 병합: 최신 모델의 로컬 실행 가능
Original: Qwen3.5 Support Merged in llama.cpp View original →
Qwen3.5 지원 추가
2026년 2월 8일에 병합된 이 풀 리퀘스트는 Alibaba의 Qwen3.5 모델 시리즈 지원을 llama.cpp에 추가했습니다. 멀티모달 기능을 제외한 Dense와 Mixture-of-Experts (MoE) 변형을 모두 지원합니다.
Qwen3.5란?
Qwen3.5는 Alibaba의 최신 언어 모델 릴리스로, Qwen3 Next 아키텍처를 기반으로 합니다. 두 가지 변형으로 제공됩니다:
- Dense 모델: 표준 transformer 아키텍처
- MoE 모델: 효율적인 계산을 위한 Mixture-of-Experts
왜 중요한가
기여자는 "Llama.cpp가 모든 제로데이 릴리스를 놓치고 있다"는 불만을 표현하며, 최첨단 모델을 신속하게 지원하려는 프로젝트의 목표를 강조했습니다. Qwen3.5 지원 추가로 사용자들은 llama.cpp의 최적화된 추론 엔진으로 이 새로운 모델을 로컬에서 실행할 수 있게 되었습니다.
주목할 만한 접근 방식
이 구현은 HuggingFace의 Transformers 구현을 참조하여 Claude Opus 4.6을 사용해 생성되었습니다. 이는 AI 지원이 모델 아키텍처 통합을 어떻게 가속화할 수 있는지 보여줍니다.
테스트 결과 두 변형 모두에서 "Excellent" 수준의 NMSE 값을 나타내며 뛰어난 변환 정확도를 보였습니다.
커뮤니티 반응
Reddit의 r/LocalLLaMA 커뮤니티에서 168점을 받으며 큰 관심을 받았습니다. 로컬 LLM 사용자들은 새로운 모델을 빠르게 지원하는 것을 높이 평가하며, 이는 오픈소스 AI 도구의 빠른 발전을 보여줍니다.
참고: PR은 처음에 Qwen3 Next에 영향을 미치는 성능 저하로 인해 되돌려졌지만, 후속 PR에서 제대로 재구현되었습니다.
Related Articles
17GB짜리 로컬 모델이 코딩과 비전 작업을 해내자 관심은 성능표보다 ‘얼마나 오래 생각하게 둘 것인가’에 모였다. Qwen 3.8 27B는 소비자 하드웨어에서 강한 결과를 내지만 기본 xhigh 추론 설정이 간단한 요청에도 수만 개 토큰을 쓰는 운영 문제를 드러낸다.
Qwen3.5 출시 몇 주 뒤, r/LocalLLaMA는 general chat, coding, tool use에 맞는 sampler와 reasoning budget을 분리해 쓰는 방향으로 경험칙을 모으고 있다.
Reddit LocalLLaMA 커뮤니티에서 Qwen3-Coder-Next가 코딩뿐만 아니라 일상 대화, 문제 해결, 심층 사고 등 범용 작업에서도 Gemini 수준의 경험을 제공하는 최초의 로컬 LLM으로 평가받고 있습니다. 프라이버시를 지키면서도 상용 모델 수준의 성능을 원하는 사용자들에게 새로운 대안이 되고 있습니다.