카테고리
Insights의 LLM 기사
LocalLLaMA에서 화제가 된 attn-rot는 Hadamard rotation으로 Q, K, V를 회전시켜 KV cache quantization 품질을 높이려는 llama.cpp PR이다. 새로운 format을 만들지 않고도 perplexity를 크게 줄일 수 있다는 점이 핵심이다.
Hacker News에 올라온 Prism ML의 1-Bit Bonsai는 1.15GB 8B model부터 iPhone급 1.7B model까지, 1-bit weight로 edge inference economics를 다시 쓰겠다는 시도다. 핵심은 parameter count보다 intelligence density와 hardware fit을 전면에 내세운 점이다.
Hacker News에서 주목받은 Alex Kim의 분석은 Claude Code 유출 소스맵에서 fake tools, frustration regex, undercover mode 같은 내부 설계를 드러냈다. 논점은 단순 유출이 아니라 개발자용 AI 도구에 숨겨진 anti-distillation과 telemetry의 범위다.
r/LocalLLaMA에서 주목받은 PrismML의 1-bit Bonsai는 8.2B 파라미터를 1.15GB로 줄인 end-to-end 1-bit LLM을 전면에 내세운다. 온디바이스 배포, throughput, energy efficiency를 동시에 노린 launch라는 점이 핵심이다.
3월 31일 Hacker News 상위권에 오른 Ollama의 MLX 발표는 Apple Silicon에서 로컬 coding agent 성능을 높이려는 시도다. MLX, NVFP4, 그리고 개선된 cache 전략을 묶어 macOS 로컬 추론 병목을 줄이겠다는 내용이 핵심이다.
OpenAI Developers는 최신 Codex usage data를 바탕으로 developers가 refactor와 architecture planning 같은 장시간 작업을 밤에 맡기는 경향이 강하다고 밝혔다. 후속 reply에서는 오후 11시에 시작한 task가 다른 task보다 3+ hours 실행될 가능성이 60% 더 높다고 설명했다.
r/LocalLLaMA에서 CoPaw-9B 관련 글이 142점과 29개 댓글을 기록하며 주목을 받았다. 스레드는 Qwen3.5 기반의 9B Agent 모델, 262,144 token context, 그리고 GGUF·quantized 배포 가능성에 대한 관심을 중심으로 반응이 갈렸다.
Anthropic는 2026년 3월 30일 Claude Code에 computer use가 research preview로 추가됐다고 밝혔다. Claude Code 문서에 따르면 이 기능은 macOS에서 Claude가 CLI 안에서 앱을 열고 UI를 클릭하며 화면을 확인할 수 있게 해 native app 테스트, visual debugging, GUI 전용 도구 자동화 같은 작업을 겨냥한다.
r/LocalLLaMA에서 공유된 새 실험은 Apple Neural Engine을 llama.cpp의 prefill 경로에 연결하려는 시도다. 공식 upstream 기능은 아니지만, M4 Pro 기준 CPU 대비 큰 폭의 가속 수치가 제시되며 커뮤니티의 관심을 끌었다.
r/LocalLLaMA에서 공유된 SentrySearch는 Qwen3-VL-Embedding을 이용해 raw video를 직접 vector space에 넣는 로컬 검색 흐름을 보여줬다. transcription 없이 text query와 video clip을 바로 비교하는 점이 커뮤니티의 관심을 끌었다.
Ollama가 2026년 3월 30일 Apple Silicon용 MLX 기반 preview를 공개했다. MLX, NVFP4, 개선된 cache를 결합해 prefill과 decode 성능을 모두 끌어올렸고, Hacker News에서도 큰 반응을 얻었다.
r/LocalLLaMA에서 CPU 메모리로 offload한 가중치를 미리 가져와 prompt 처리 속도를 끌어올리려는 llama.cpp 실험이 주목을 받았다. 긴 context에서 hybrid CPU/GPU 추론의 병목을 줄이려는 시도다.
