LocalLLaMA에서 반응이 컸던 포인트는 "새 모델이 세다"보다 "제대로 켜야 보인다"는 실전 팁이었다. 작성자는 M5 Max 128GB 환경에서 Qwen3.6을 8bit로 돌리며 Opus와 Codex에 맡기던 일부 작업을 처리했다고 했고, 핵심 설정으로 preserve_thinking을 짚었다.

2026년 4월 19일 1분 소요 38

#qwen #local-llm #configuration

LLM 레딧

Local tool calling 현실 점검: r/LocalLLaMA가 본 문제는 model보다 harness였다

r/LocalLLaMA의 100점대 thread는 local tool calling 실패담을 model 탓으로 끝내지 않고, OpenWebUI·quant·runtime 조합 문제로 쪼개 봤다.

2026년 4월 19일 1분 소요 48

#local-llm #tool-calling #qwen

LLM 레딧

Qwen3.6 79 t/s 글에서 r/LocalLLaMA가 본 진짜 변수: --n-cpu-moe

r/LocalLLaMA가 이 글에 반응한 이유는 숫자가 구체적이었기 때문이다: RTX 5070 Ti에서 128K context와 79 t/s를 만든 핵심이 flag 하나로 좁혀졌다.

2026년 4월 19일 1분 소요 44

#qwen #llama-cpp #local-llm

LLM 레딧

Qwen3.6 GGUF 논쟁, r/LocalLLaMA는 “어떤 quant를 돌릴 것인가”로 내려갔다

r/LocalLLaMA가 Qwen3.6 release 자체보다 GGUF quant 선택과 CUDA 버그에 더 크게 반응했다. Unsloth의 benchmark post는 KLD, disk space, 4bit gibberish, CUDA 13.1/13.3 같은 실제 실행 조건을 전면에 올렸다.

2026년 4월 18일 1분 소요 51

#qwen #gguf #local-llm

LLM 레딧

모델들이 갑자기 둔해졌나? LocalLLaMA는 'silent downgrade' 감각을 검증 문제로 바꿨다

LocalLLaMA의 열기는 “모델이 멍청해졌다”는 불평에서 끝나지 않고, provider routing과 quantization, peak-time behavior를 어떻게 측정할지로 번졌다. thread는 확정 증거보다 community가 느끼는 품질 불안의 크기를 보여준다.

2026년 4월 17일 1분 소요 45

#local-llm #benchmarks #model-quality

LLM 레딧

브라우저에서 290MB 1-bit LLM, LocalLLaMA의 흥분과 현실 체크

LocalLLaMA가 크게 반응한 이유는 demo가 직관적이었기 때문이다. 약 290MB짜리 1.7B Bonsai model이 WebGPU로 browser 안에서 돈다. 같은 thread는 곧바로 tokens per second, hallucination, llama.cpp support, 그리고 1-bit model이 narrow task 밖에서도 쓸 만한지 따지며 현실 체크를 붙였다.

2026년 4월 16일 1분 소요 42

#local-llm #webgpu #quantization

LLM 레딧

VRAM에 자주 쓰는 expert만 올리자, LocalLLaMA가 본 27% 속도 향상

LocalLLaMA가 반응한 이유는 큰 MoE model을 작은 VRAM에서 굴릴 때 생기는 병목을 꽤 현실적인 방식으로 찔렀기 때문이다. 작성자는 Qwen3.5-122B-A10B에서 최근 token들이 자주 route한 expert를 VRAM cache에 올리는 llama.cpp fork를 실험했고, 같은 22GB대 VRAM 사용량에서 layer-based offload보다 token generation이 26.8% 빨랐다고 공유했다.

2026년 4월 16일 2분 소요 49

#local-llm #llama-cpp #moe

LLM 레딧

LocalLLaMA가 꽂힌 자동 튜닝, Qwen3.5-27B가 40 tok/s까지 올랐다

LocalLLaMA가 반응한 포인트는 “LLM이 스스로 빨라진다”는 농담 같은 구조가 실제 benchmark 숫자로 이어졌다는 점이었다. 작성자는 llm-server v2의 --ai-tune이 llama-server help를 context로 읽고 flag 조합을 돌며 fastest config를 cache한다고 설명했고, Qwen3.5-27B Q4_K_M은 18.5 tok/s에서 40.05 tok/s까지 올라갔다고 공유했다.

2026년 4월 16일 2분 소요 45

#local-llm #llama-cpp #optimization