LLM 해커뉴스
HN에서 주목받은 Mac mini용 Ollama + Gemma 4 실전 설정
HN에서 주목받은 gist는 Apple Silicon Mac mini에서 Ollama와 Gemma 4를 운영하는 실전 설정을 정리했다. 작성자는 `gemma4:26b`가 24GB unified memory를 거의 다 써 기본 8B 모델과 preload/keep-alive 설정이 더 현실적이라고 전했다.
2분 소요 45 조회
태그
#local-llm
#local-llm 태그가 달린 기사
LLM 레딧
Reddit가 직접 시험한 PrismML Bonsai 1-bit 모델, 발표 이상으로 가벼운 local LLM
r/LocalLLaMA의 반응은 PrismML Bonsai 발표가 단순한 compression headline 이상으로 받아들여지고 있음을 보여 준다. 회사가 내세운 end-to-end 1-bit 설계와, 실제 사용자가 체감한 사용성 개선이 함께 이야기되고 있다.
2분 소요 43 조회
LLM 해커뉴스
Ollama, Apple Silicon용 MLX 기반 미리보기 공개
3월 31일 Hacker News 상위권에 오른 Ollama의 MLX 발표는 Apple Silicon에서 로컬 coding agent 성능을 높이려는 시도다. MLX, NVFP4, 그리고 개선된 cache 전략을 묶어 macOS 로컬 추론 병목을 줄이겠다는 내용이 핵심이다.
2분 소요 47 조회
LLM 레딧
LocalLLaMA가 주목한 SentrySearch... Qwen3-VL로 로컬 video semantic search 구현
r/LocalLLaMA에서 공유된 SentrySearch는 Qwen3-VL-Embedding을 이용해 raw video를 직접 vector space에 넣는 로컬 검색 흐름을 보여줬다. transcription 없이 text query와 video clip을 바로 비교하는 점이 커뮤니티의 관심을 끌었다.
1분 소요 28 조회
LLM 해커뉴스
Ollama, Apple Silicon용 MLX preview 공개... 로컬 LLM 처리 속도 대폭 개선
Ollama가 2026년 3월 30일 Apple Silicon용 MLX 기반 preview를 공개했다. MLX, NVFP4, 개선된 cache를 결합해 prefill과 decode 성능을 모두 끌어올렸고, Hacker News에서도 큰 반응을 얻었다.
1분 소요 49 조회
LLM 레딧
LocalLLaMA가 주목한 llama.cpp의 CPU offload prefetch 실험
r/LocalLLaMA에서 CPU 메모리로 offload한 가중치를 미리 가져와 prompt 처리 속도를 끌어올리려는 llama.cpp 실험이 주목을 받았다. 긴 context에서 hybrid CPU/GPU 추론의 병목을 줄이려는 시도다.
2분 소요 52 조회
LLM 레딧
r/LocalLLaMA, Qwen3.5-27B를 llama.cpp와 OpenCode에 붙이는 실전 구성 주목
2026년 3월 r/LocalLLaMA에서 126 points와 45 comments를 모은 글은 Qwen3.5-27B를 llama.cpp로 구동하고 OpenCode에 연결하는 실전 가이드를 조명했다. 이 글이 주목받은 이유는 quant 선택, chat-template 수정, VRAM 예산, Tailscale 네트워킹, tool-calling 동작처럼 로컬 coding 환경을 실제로 좌우하는 운영 디테일을 다뤘기 때문이다.
2분 소요 50 조회
AI 해커뉴스
Hacker News가 본 'AI 시대 첫 40개월', Claude Code와 local LLM 사이의 현실 평가
Hacker News에서 주목받은 한 에세이가 ChatGPT 이후 40개월을 돌아보며 Claude Code의 실용성, vibe coding의 한계, 그리고 local LLM의 부상을 함께 짚었다.
2분 소요 39 조회
LLM 레딧
Liquid AI의 브라우저 추론 데모, LocalLLaMA가 주목한 이유
LocalLLaMA의 한 post는 Liquid AI의 LFM2-24B-A2B가 M4 Max browser에서 약 50 tokens per second로 동작한다고 주장하며 79 points와 11 comments를 모았다. Community의 관심은 sparse MoE architecture, ONNX packaging, 그리고 WebGPU가 local AI deployment target을 어디까지 넓힐 수 있는지에 집중됐다.
2분 소요 41 조회
LLM 레딧
RTX 5090부터 AMD AI395까지, LocalLLaMA 벤치마크가 보여준 현실적인 선택지
r/LocalLLaMA의 llama.cpp 비교 글은 55 upvotes와 81 comments를 기록했다. RTX 5090, DGX Spark, AMD AI395, single과 dual R9700를 같은 parameter로 비교해 local inference hardware의 현실적인 trade-off를 보여줬다.
2분 소요 55 조회
LLM 레딧
Intel Arc Pro B70/B65, LocalLLaMA가 주목한 32GB VRAM 카드
r/LocalLLaMA에서 Intel Arc Pro B70/B65 출시 소식은 213 upvotes와 133 comments를 기록했다. Intel은 B70을 2026년 3월 25일부터 $949에 판매하고, B65는 mid-April에 출시한다고 밝혔다.
2분 소요 53 조회
LLM 해커뉴스
Hacker News가 주목한 Ente의 privacy-first 로컬 LLM 앱 Ensu
Hacker News는 Ente의 Ensu 발표를 크게 다뤘다. Ensu는 local LLM software를 단순한 benchmark 경쟁이 아니라 privacy와 ownership의 제품으로 다루며, 주요 플랫폼 전반의 offline chat, open source core logic, 그리고 계획된 encrypted sync를 내세운다.
2분 소요 39 조회