IBM Granite 4.1, 8B로 32B MoE급 겨냥… HN 논점은 tool calling
Original: Granite 4.1: IBM's 8B Model Matching 32B MoE View original →
Granite 4.1의 포인트는 IBM이 모델 수를 늘렸다는 데만 있지 않다. 8B dense instruct 모델을 앞세워, 이전 Granite 4.0 32B MoE가 맡던 자리를 더 단순한 구조로 가져오겠다는 선언에 가깝다. IBM Research는 이번 묶음에서 3B·8B·30B 언어 모델과 함께 speech, vision, embedding, Guardian 모델까지 한 번에 공개했고, 언어 모델 쪽 핵심 지표는 instruction following과 tool calling에 맞춰 잡았다.
공식 설명도 화려한 reasoning보다 운용성을 먼저 내세운다. IBM은 Granite 4.1 8B instruct가 이전 32B MoE보다 instruction following과 tool calling에서 맞먹거나 앞서는 구간이 있다고 설명했고, 최근 Gemma와 Qwen 계열 dense 모델과도 경쟁 가능한 수준이라고 적었다. 학습에는 약 15조 토큰이 쓰였고, 마지막 단계에서 컨텍스트 길이를 최대 512K까지 늘렸다는 점도 함께 제시했다. 라이선스는 Apache 2.0이라 배포와 실험 장벽도 낮다.
HN 댓글이 바로 그 지점으로 몰렸다. 관심은 벤치마크 표보다 “8B가 진짜 현장에서 먹히느냐”였다. 몇몇 사용자는 commodity hardware에서 빠르게 돌고 최근 데이터가 들어간 점을 반겼고, 다른 쪽은 30B가 홈랩에서 더 현실적인 sweet spot일 수 있다고 봤다. MoE 대신 dense로 다시 무게가 이동하는 흐름, 그리고 small model이 auto-complete나 가벼운 agent 작업을 얼마나 가져갈 수 있는지가 자연스럽게 다음 논점이 됐다.
이 흐름이 중요해 보이는 이유도 분명하다. 지금 오픈 모델 경쟁은 더 긴 사고 과정을 보여주는 쪽과, 같은 업무를 더 짧은 지연시간과 낮은 토큰 비용으로 처리하는 쪽으로 갈라져 있다. Granite 4.1은 후자에 서 있다. HN이 이 릴리스를 밀어 올린 배경도 “새 모델 추가”보다, dense 8B 하나로 enterprise workflow의 기본 업무를 얼마나 대체할 수 있느냐는 실전 질문에 있었다.
Source: IBM Research · Hacker News discussion
Related Articles
LocalLLaMA가 Granite 4.1에 반응한 이유는 IBM이 요즘 유행과 반대로 갔기 때문이다. 3B·8B·30B dense 모델을 중심에 두고 instruction following과 tool calling, 운영 비용, 예측 가능한 동작을 전면에 세우자 “실서비스용 모델”로 읽는 반응이 나왔다.
LocalLLaMA가 이 글을 반긴 이유는 'Gemma 4가 왠지 약하다'로 끝나지 않았기 때문이다. nullable JSON Schema가 빈 type 필드로 납작해지는 구체적 실패 지점을 잡아냈고, 작은 Jinja 수정으로 tool calling이 다시 살아났다.
LocalLLaMA가 크게 반응한 건 DeepSeek가 점과 박스를 추론 단위로 끌어올렸기 때문이다. 저장소가 곧바로 비공개로 바뀌면서 관심은 더 커졌다.
Comments (0)
No comments yet. Be the first to comment!