#local-llm

r/LocalLLaMA의 반응은 PrismML Bonsai 발표가 단순한 compression headline 이상으로 받아들여지고 있음을 보여 준다. 회사가 내세운 end-to-end 1-bit 설계와, 실제 사용자가 체감한 사용성 개선이 함께 이야기되고 있다.

3월 31일 Hacker News 상위권에 오른 Ollama의 MLX 발표는 Apple Silicon에서 로컬 coding agent 성능을 높이려는 시도다. MLX, NVFP4, 그리고 개선된 cache 전략을 묶어 macOS 로컬 추론 병목을 줄이겠다는 내용이 핵심이다.

r/LocalLLaMA에서 공유된 SentrySearch는 Qwen3-VL-Embedding을 이용해 raw video를 직접 vector space에 넣는 로컬 검색 흐름을 보여줬다. transcription 없이 text query와 video clip을 바로 비교하는 점이 커뮤니티의 관심을 끌었다.

Ollama가 2026년 3월 30일 Apple Silicon용 MLX 기반 preview를 공개했다. MLX, NVFP4, 개선된 cache를 결합해 prefill과 decode 성능을 모두 끌어올렸고, Hacker News에서도 큰 반응을 얻었다.

r/LocalLLaMA에서 CPU 메모리로 offload한 가중치를 미리 가져와 prompt 처리 속도를 끌어올리려는 llama.cpp 실험이 주목을 받았다. 긴 context에서 hybrid CPU/GPU 추론의 병목을 줄이려는 시도다.

2026년 3월 r/LocalLLaMA에서 126 points와 45 comments를 모은 글은 Qwen3.5-27B를 llama.cpp로 구동하고 OpenCode에 연결하는 실전 가이드를 조명했다. 이 글이 주목받은 이유는 quant 선택, chat-template 수정, VRAM 예산, Tailscale 네트워킹, tool-calling 동작처럼 로컬 coding 환경을 실제로 좌우하는 운영 디테일을 다뤘기 때문이다.

Hacker News에서 주목받은 한 에세이가 ChatGPT 이후 40개월을 돌아보며 Claude Code의 실용성, vibe coding의 한계, 그리고 local LLM의 부상을 함께 짚었다.

LocalLLaMA에서 이 글이 빠르게 올라온 이유는 Intel GPU 뉴스를 실제 local inference 사용자가 보는 지표, 즉 VRAM, bandwidth, software support, cost로 번역해냈기 때문이다.

LocalLLaMA의 한 post는 Liquid AI의 LFM2-24B-A2B가 M4 Max browser에서 약 50 tokens per second로 동작한다고 주장하며 79 points와 11 comments를 모았다. Community의 관심은 sparse MoE architecture, ONNX packaging, 그리고 WebGPU가 local AI deployment target을 어디까지 넓힐 수 있는지에 집중됐다.

r/LocalLLaMA의 llama.cpp 비교 글은 55 upvotes와 81 comments를 기록했다. RTX 5090, DGX Spark, AMD AI395, single과 dual R9700를 같은 parameter로 비교해 local inference hardware의 현실적인 trade-off를 보여줬다.

r/LocalLLaMA에서 Intel Arc Pro B70/B65 출시 소식은 213 upvotes와 133 comments를 기록했다. Intel은 B70을 2026년 3월 25일부터 $949에 판매하고, B65는 mid-April에 출시한다고 밝혔다.

Hacker News는 Ente의 Ensu 발표를 크게 다뤘다. Ensu는 local LLM software를 단순한 benchmark 경쟁이 아니라 privacy와 ownership의 제품으로 다루며, 주요 플랫폼 전반의 offline chat, open source core logic, 그리고 계획된 encrypted sync를 내세운다.