태그
#local-llm 태그가 달린 기사
r/LocalLLaMA의 고신호 benchmark 글은 Qwen 3.5 27B를 mainline llama.cpp에서 ik_llama.cpp로 바꾸자 Blackwell RTX PRO 4000에서 prompt evaluation이 약 43 tok/sec에서 1,122 tok/sec로 뛰었고, generation도 7.5 tok/sec에서 26 tok/sec로 올라갔다고 전했다.
r/LocalLLaMA의 새 스레드는 NVIDIA의 Nemotron-Cascade-2-30B-A3B가 중형 Qwen 3.5 계열보다 더 강한 coding 결과를 낼 수 있다고 주장하며 주목을 끌었다. community benchmark와 NVIDIA의 model card를 함께 보면, local inference 비용과 reasoning 성능 사이의 새로운 균형점을 찾으려는 흐름이 읽힌다.
Ollama는 2026년 3월 20일 NVIDIA의 Nemotron-Cascade-2를 자사 로컬 모델 스택에서 실행할 수 있다고 밝혔다. 공식 모델 페이지는 이를 3B activated parameter를 쓰는 open 30B MoE 모델로 소개하며, thinking·instruct 모드와 OpenClaw·Codex·Claude 연동 경로를 함께 제공한다.
Qwen3.5 출시 몇 주 뒤, r/LocalLLaMA는 general chat, coding, tool use에 맞는 sampler와 reasoning budget을 분리해 쓰는 방향으로 경험칙을 모으고 있다.
OpenCode + OSS LLM 조합을 다룬 r/LocalLLaMA 글은 provider-agnostic 코딩 에이전트, MCP 설정, 오픈 모델의 tool calling 품질 문제를 함께 논의하며 대안적 개발 스택에 대한 수요를 드러냈다.
r/LocalLLaMA에서 1360 points를 얻은 이 글은 HauhauCS 계열의 uncensored 변경과 Jackrong의 reasoning distillation을 결합한 Qwen 3.5 9B GGUF 실험을 소개하며, 소형 로컬 모델 튜닝의 현재 관심사를 보여줬다.
2026년 3월 15일 GreenBoost 관련 Hacker News 게시물은 124 points와 25 comments를 기록했다. 이 open-source Linux 프로젝트는 kernel module과 CUDA shim을 결합해 model memory를 VRAM, DDR4, NVMe로 계층화함으로써 inference app을 바꾸지 않고도 더 큰 local LLM을 실행하려 한다.
Unsloth Studio가 Hacker News 프론트페이지에 오르며 local-first AI 작업환경 수요를 드러냈다. 문서는 chat, installation, data recipes, model export를 한 흐름으로 묶어 local LLM tooling의 다음 단계를 보여준다.
Hacker News는 Microsoft의 bitnet.cpp를 다시 끌어올리며, 새 100B checkpoint보다 1.58-bit inference framework와 CPU 전력 효율 개선에 더 큰 의미를 두는 반응을 보였다.
높은 점수를 받은 LocalLLaMA 글은 16GB M1 Pro에서 Qwen 3.5 9B가 memory recall과 기본 tool calling을 실제 agent 작업에 쓸 만큼 처리했지만, creative reasoning은 여전히 frontier model보다 뒤처졌다고 전했다.
Hacker News에서 주목받은 Unsloth의 Qwen3.5 가이드는 27B와 35B-A3B를 포함한 로컬 실행 경로를 메모리 요구량, thinking 제어, llama.cpp 명령 중심으로 정리한다.
r/LocalLLaMA에서 주목받은 PSA는 Ollama나 LM Studio 같은 편의 레이어가 model behavior를 바꿀 수 있으므로, 새 모델 평가는 먼저 llama.cpp, transformers, vLLM, SGLang 같은 기본 런타임에서 해야 한다고 조언한다. 댓글에서도 핵심은 특정 툴 선호가 아니라 template, stop token, sampling, quantization을 고정한 재현성이라는 점이 강조됐다.