Cohere 미공개 coding model, LocalLLaMA가 먼저 만진 30B/3B MoE
LocalLLaMA의 관심은 “또 하나의 coding model”보다, Cohere 직원이 release 전 weights를 직접 커뮤니티에 맡긴 방식에 쏠렸다.
카테고리
Insights의 LLM 기사
LocalLLaMA의 관심은 “또 하나의 coding model”보다, Cohere 직원이 release 전 weights를 직접 커뮤니티에 맡긴 방식에 쏠렸다.
530점 넘게 오른 관심은 “Claude가 보안 버그를 찾는다”보다, 팀마다 직접 고쳐 쓸 수 있는 harness의 모양에 모였다.
OpenAI는 6월 4일 ChatGPT Lockdown Mode를 모든 로그인 사용자와 워크스페이스에 제공하고, API 생성 요청에는 입력·출력 moderation 점수를 함께 받을 수 있게 했다. AI agent가 외부 서비스에 닿는 시대에 데이터 유출 방어가 제품 기능으로 올라왔다.
오픈 모델 경쟁이 단순 성능표에서 장시간 에이전트 비용으로 이동하고 있다. NVIDIA는 Nemotron 3 Ultra가 550B MoE 구조로 5배 빠른 추론과 최대 30% 낮은 복잡 작업 비용을 낸다고 밝혔다.
댓글의 관심은 “encoder-free”라는 표현이 실제 아키텍처에서 무엇을 뜻하는지에 모였다.
로컬 멀티모달 모델 경쟁이 12B급으로 좁혀졌다. Google Gemma는 Gemma 4 12B를 Apache 2.0으로 공개하며 이미지·오디오 입력을 별도 인코더 없이 처리한다고 밝혔다.
GitHub Copilot 앱 기술 미리보기가 유료 Copilot 고객 전체로 넓어지고, 로컬·클라우드 sandbox가 공개 미리보기로 붙었다. agent가 코드를 고치고 명령을 실행하는 시대의 핵심 쟁점이 모델 성능에서 실행 격리와 검증 흐름으로 이동하고 있다.
ARC Prize가 Opus 4.8을 ARC-AGI-3 새 SOTA로 기록하며 benchmark 경쟁의 기준을 다시 낮은 숫자로 보여줬다. 점수는 1.5%, 비용은 약 $10K로, 향상은 분명하지만 일반 지능과는 아직 거리가 있다.
LocalLLaMA의 관심은 “Claude 대체”보다 tool call 오류율 12%라는 구체적 한계에 모였다.
711점까지 오른 관심은 “GPU 없이 가능하다”보다 memory bandwidth와 inference 최적화의 현실에 쏠렸다.
530점 넘게 오른 관심은 “LLM을 쓰는 법”보다 “LLM이 어떻게 만들어지는지”를 다시 배우려는 수요에 모였다.
QVAC SDK 0.12.0이 TurboQuant를 넣어 로컬 LLM의 KV cache를 최대 5배 줄인다. 8GB RTX 5060에서도 4B 모델의 262K context를 목표로 한다는 점이 온디바이스 AI의 실용성을 바꾼다.