llama.cpp --fit, 32GB VRAM 장벽을 다시 계산하게 한 LocalLLaMA
LocalLLaMA가 반응한 이유는 새 모델 자랑이 아니라, --fit이 “VRAM에 다 들어가야 빠르다”는 체감 규칙을 흔들었기 때문이다.
카테고리
Insights의 LLM 기사
LocalLLaMA가 반응한 이유는 새 모델 자랑이 아니라, --fit이 “VRAM에 다 들어가야 빠르다”는 체감 규칙을 흔들었기 때문이다.
Alibaba의 4월 22일 Qwen3.6-Max-Preview post는 여섯 개 coding benchmark top score와 Qwen3.6-Plus 대비 개선을 내세운다. 다만 핵심 caveat도 분명하다. 이번 model은 open-weight release가 아니라 hosted proprietary preview다.
GitHub은 agentic workflow가 기존 개인 요금제의 compute 가정을 넘어섰다며 Copilot Pro, Pro+, Student 신규 가입을 멈췄다. 핵심은 premium request 수와 별개로 token 기반 session limit, weekly limit가 개발 workflow를 좌우하기 시작했다는 점이다.
HN은 Kimi K2.6을 benchmark 표 하나보다 “open weights coding agent가 긴 작업을 버티는가”라는 질문으로 읽었다. 12시간, 13시간짜리 coding 사례와 agent swarm 주장이 관심을 끌었고, 동시에 실제 속도와 benchmark 과장 가능성도 바로 검증대에 올랐다.
Google이 4월 21일 Deep Research를 Gemini 3.1 Pro 기반으로 끌어올리고 MCP 연결과 Max 모드를 붙였다. 웹 검색, 업로드 파일, 라이선스 데이터 소스를 한 흐름에서 묶어야 하는 금융·생명과학 팀을 겨냥한 변화다.
r/LocalLLaMA가 900점 넘게 반응한 이유는 Qwen3.6 score표가 아니라, local coding agent가 canvas bug와 wave completion issue를 스스로 찾아 고쳤다는 사용기였다.
r/LocalLLaMA가 이 글을 끌어올린 이유는 “trust me bro”식 후기 안에 8-bit, 64k context, OpenCode, Android debugging이라는 실제 사용 조건이 들어 있었기 때문이다.
LocalLLaMA가 이 merge에 반응한 이유는 바로 써볼 수 있기 때문이었다. 다만 thread의 핵심은 속도 향상이 prompt 반복성과 draft acceptance에 크게 좌우된다는 caveat였다.
LocalLLaMA에서 반응이 컸던 포인트는 "새 모델이 세다"보다 "제대로 켜야 보인다"는 실전 팁이었다. 작성자는 M5 Max 128GB 환경에서 Qwen3.6을 8bit로 돌리며 Opus와 Codex에 맡기던 일부 작업을 처리했다고 했고, 핵심 설정으로 preserve_thinking을 짚었다.
HN에서 반응이 컸던 이유는 막연한 사용량 불안을 숫자로 바꿨기 때문이다. 익명 제출 541건을 모은 Tokenomics는 같은 요청이 Opus 4.7에서 평균 466 request token으로 계산되어 Opus 4.6의 349개보다 약 38.1% 늘었다고 보여줬고, 댓글은 이 수치가 실제 한도 소진 경험과 어떻게 맞물리는지 따졌다.
r/LocalLLaMA가 이 글에 반응한 이유는 leaderboard 숫자보다, Opus 4.7의 체감 악화와 Kimi K2.6의 실제 coding agent 운용 가능성이 충돌했기 때문이다.
r/LocalLLaMA의 100점대 thread는 local tool calling 실패담을 model 탓으로 끝내지 않고, OpenWebUI·quant·runtime 조합 문제로 쪼개 봤다.