Qwen3.6 GGUF 논쟁, r/LocalLLaMA는 “어떤 quant를 돌릴 것인가”로 내려갔다

Qwen3.6에 대한 r/LocalLLaMA의 관심은 “새 model이 나왔다”에서 끝나지 않았다. 2026-04-17 16:17:50 UTC에 올라온 Qwen3.6 GGUF Benchmarks post는 crawl 시점 score 460대와 80개 넘는 comments를 모았고, 논점은 benchmark headline보다 더 실용적인 곳으로 내려갔다. local user에게 중요한 질문은 결국 어떤 GGUF quant를 받고, 어떤 runtime에서 깨지지 않게 돌리느냐였다.

Post 작성자는 Qwen3.6-35B-A3B GGUF KLD performance benchmark를 공유하며, Unsloth quants가 KLD vs disk space pareto frontier에서 21/22 times 가장 좋았다고 주장했다. 함께 링크된 Hugging Face README는 Qwen3.6-35B-A3B를 35B total, 3B activated model로 설명하고, context length는 262,144 natively, 최대 1,010,000 tokens까지 확장 가능하다고 적는다. 또한 developer role support, tool calling 개선, coding agent benchmark 개선이 강조돼 있다.

하지만 community가 붙잡은 건 숫자 표만이 아니었다. Top discussion은 low-bit quant에서 gibberish가 나오는 CUDA 13.2 문제로 곧장 이동했다. Commenter는 이 문제가 특정 provider만의 문제가 아니라 4bit 이하 quants 전반에 영향을 줄 수 있으며, NVIDIA가 CUDA 13.3에서 fix를 확인했다는 맥락을 공유했다. 당장의 workaround는 CUDA 13.1을 쓰는 것이다.

이런 반응은 LocalLLaMA 특유의 에너지다. Benchmark는 marketing slide가 아니라 download choice, VRAM budget, quant provider 신뢰, llama.cpp bugfix, weekend testing plan으로 해석된다. 다른 comments도 graph readability와 neutrality를 따졌고, 일부는 특정 quant provider가 discussion을 주도하는 데 불편함을 표시했다.

그래서 이 post의 가치는 Qwen3.6이 강하다는 주장 자체보다, local inference에서 성능이 “model weight” 하나로 결정되지 않는다는 점에 있다. GGUF format, quantization layer 선택, CUDA version, provider update cadence, preserve_thinking 같은 configuration이 모두 체감 품질을 바꾼다. r/LocalLLaMA는 release hype를 실제 machine에서의 운영 checklist로 바꿔 읽고 있었다.