Qwen 3.6 27B + MTP로 로컬 추론 속도 2.5배 향상, 48GB에서 262k 컨텍스트
llama.cpp의 새 MTP 지원 PR을 활용해 Qwen 3.6 27B의 추론 속도를 2.5배 높이는 방법이 공유됐다. 48GB 메모리에서 262,000 토큰 컨텍스트로 로컬 에이전틱 코딩이 가능해졌다.
원문: 2.5x faster inference with Qwen 3.6 27B using MTP - Finally a viable option for local agentic coding - 262k context on 48GB - Fixed chat template - Drop-in OpenAI and Anthropic API endpoints 원문 보기 →
Qwen 3.6 27B MTP 구성법
r/LocalLLaMA에서 한 사용자가 llama.cpp의 MTP 지원 PR을 이용해 Qwen 3.6 27B의 추론 속도를 2.5배 높이는 상세 가이드를 공유했다. M2 Max 96GB에서 직접 테스트한 결과로, 커뮤니티에서 600점 이상의 높은 호응을 얻었다.
주요 특징
이 구성은 투기적 디코딩을 통한 2.5배 속도 향상 외에도 48GB에서 262,000 토큰 컨텍스트를 지원한다. 수정된 채팅 템플릿, OpenAI 및 Anthropic API와의 드롭인 호환 엔드포인트, q4_0 KV 캐시 압축 등이 포함된다.
에이전틱 코딩을 위한 실용적 선택
저자는 이 구성이 "마침내 로컬 에이전틱 코딩의 실행 가능한 옵션"이 됐다고 평가한다. 긴 컨텍스트 창과 빠른 추론 속도의 조합이 Claude Code 같은 에이전틱 코딩 워크플로에서 클라우드 API 의존성을 줄이는 데 실질적으로 도움이 된다.
주의사항
해당 PR은 아직 불안정하며 활발한 논의가 진행 중이다. 저자는 초기 게시물에서 turbo quants 사용을 권장했으나 빌드 불안정성으로 인해 표준 q4_0 KV 캐시 압축으로 대체했다. HuggingFace에서 새 버전 업로드가 완료된 후 다운로드를 권장한다.
관련 기사
104GB Qwen을 48GB Mac에서 12 tok/s로, slotstream의 SSD 승부
메모리에 들어가지 않는 125B MoE 모델을 SSD에서 필요한 expert만 불러 48GB Mac에서 약 12 tok/s로 돌린 구현이 화제다. 실제 측정값과 저사양 추정치를 구분해 공개하면서 로컬 추론의 병목을 RAM 용량에서 저장장치 대역폭으로 옮겼다.
r/LocalLLaMA가 모으는 Qwen3.5 실전 파라미터 프리셋
Qwen3.5 출시 몇 주 뒤, r/LocalLLaMA는 general chat, coding, tool use에 맞는 sampler와 reasoning budget을 분리해 쓰는 방향으로 경험칙을 모으고 있다.
LocalLLaMA, Apple Silicon에서 DFlash로 Qwen 추론 2~3배 가속 보고
LocalLLaMA의 한 구현 보고는 Apple Silicon용 native MLX DFlash runtime으로 Qwen 계열 inference를 2배에서 3배 이상 가속했다고 주장한다. 중요한 점은 speedup뿐 아니라 greedy baseline과 bit-for-bit identical output을 유지했다고 설명한 부분이다.