r/MachineLearning이 띄운 Attention Residuals, Kimi가 PreNorm residual 병목을 다시 건드리다
Kimi Team의 AttnRes 논문은 PreNorm residual이 모든 이전 layer 출력을 고정 가중치로 더하면서 깊은 stack에서 정보 희석을 만든다고 주장한다. 해결책으로 layer 간 selective aggregation과 메모리 비용을 줄인 Block AttnRes를 제시한다.
카테고리
Insights의 LLM 기사
Kimi Team의 AttnRes 논문은 PreNorm residual이 모든 이전 layer 출력을 고정 가중치로 더하면서 깊은 stack에서 정보 희석을 만든다고 주장한다. 해결책으로 layer 간 selective aggregation과 메모리 비용을 줄인 Block AttnRes를 제시한다.
Unsloth Studio가 Hacker News 프론트페이지에 오르며 local-first AI 작업환경 수요를 드러냈다. 문서는 chat, installation, data recipes, model export를 한 흐름으로 묶어 local LLM tooling의 다음 단계를 보여준다.
Google DeepMind는 X에서 Gemini Embedding 2를 Gemini API와 Vertex AI를 통해 preview로 제공한다고 밝혔다. 이 모델은 Gemini architecture 기반의 첫 fully multimodal embedding model로, text·image·video·audio·documents 검색 계층을 하나로 묶는 것을 목표로 한다.
r/LocalLLaMA에서 92점과 25개 댓글을 받은 Covenant-72B는 20+ 참여자가 Bittensor blockchain 기반 인프라를 통해 72B parameters 모델을 from scratch로 함께 학습한 사례로 주목받았다. 공개된 핵심은 benchmark 우위 주장보다 permissionless collaborative training, SparseLoCo 기반 통신 절감, Apache 2.0 license, 그리고 separate Chat variant의 존재다.
Google은 Gemini API 개발자를 위해 Project Spend Caps, 개편된 Usage Tiers, 새 billing dashboard를 AI Studio에 추가했다. Paid usage로 넘어가는 팀이 비용과 확장 조건을 더 예측 가능하게 관리하도록 설계된 업데이트다.
Mistral AI는 2026년 3월 16일 NVIDIA와 frontier open-source AI models를 공동 개발하는 전략적 파트너십에 들어간다고 밝혔다. 이어진 Mistral 공식 글은 Mistral이 NVIDIA Nemotron Coalition의 founding member로 참여하며 large-scale model development와 multimodal capabilities를 제공한다고 설명한다.
2026년 3월 16일 r/LocalLLaMA에서 OpenCode의 local behavior를 지적한 글은 389 points와 154 comments를 기록했다. 작성자는 `opencode serve`의 web UI 경로가 app.opencode.ai로 proxy된다고 주장했고, 연결된 code path와 intranet 관련 issue도 함께 공유됐다.
2026년 3월 16일 Hacker News에서 Cursor 연구를 다룬 글은 110 points와 61 comments를 기록했다. 논문은 Cursor 도입이 단기 development velocity를 올리지만 static analysis warnings와 code complexity도 지속적으로 증가시킨다고 보고했다.
2026년 3월 16일 Hacker News에서 Godogen Show HN 글은 247 points와 153 comments를 모았다. 이 프로젝트는 text prompt에서 Godot 4 project, asset generation, visual QA까지 이어지는 agent pipeline을 공개해 관심을 끌었다.
Google은 Gemini CLI에 요청 분석, codebase 이해, dependency 파악을 edit 없이 먼저 수행하는 Plan mode를 추가했다고 밝혔다. ask_user tool과 read-only MCP 지원도 함께 넣어 요구사항 확인과 외부 context 수집을 더 안전하게 만들었다.
OpenAI는 Codex Security가 의도적으로 SAST report를 출발점으로 삼지 않는다고 밝혔다. 실제 취약점은 단순 dataflow보다 validation order, canonicalization, trust boundary 같은 behavior 문제에서 드러나는 경우가 많기 때문에 repository behavior를 직접 검증하는 방식이 더 중요하다는 설명이다.
2026년 3월 16일 Hacker News에서는 Home Assistant 커뮤니티의 detailed local voice assistant 구축기가 310 points와 92 comments를 모았다. llama.cpp, Parakeet V2 STT, Kokoro TTS, custom wake word, prompt tuning 조합이 실제 응답 시간과 함께 공유됐다.