K2 Horizon 6종, 0.9B~375B 전면 공개…코드·훈련 데이터까지 연 공개형 LLM

오픈 웨이트라는 말의 범위가 다시 넓어졌다. 0.9B부터 375B까지 이어지는 K2 Horizon 6종이 가중치뿐 아니라 코드, 훈련 데이터, 학습 방법론까지 함께 공개됐다. 작은 기기에서 기업용 서버까지 하나의 계열로 잇고, 모든 자산을 Apache 2.0으로 즉시 사용할 수 있게 한 것이 이번 공개의 무게다.

MBZUAI 산하 Institute of Foundation Models(IFM)의 원문에 따르면 모델은 0.9B, 3.7B, 7B, 32B, 36B-A4B, 375B-A23B로 구성된다. 앞의 네 모델은 밀집형 계열이고, 36B와 375B는 각각 4B와 23B 파라미터만 활성화하는 희소 구조다. 같은 아키텍처와 어휘, 훈련 방법, 인터페이스, 배포 도구를 공유해 작은 모델에서 검증한 작업을 큰 모델로 옮기기 쉽도록 설계했다.

가장 눈에 띄는 기술은 토큰을 한 개씩 생성하는 흐름 일부를 바꾼 diffusion distillation이다. 토큰 블록을 병렬로 생성해 응답 품질 저하 없이 성능을 약 3배 높였다는 설명이다. 별도의 Mixture of Value Attention(MoVA)은 계산량을 더하지 않고 추론 능력을 높이는 구조이며, 동적 모델 라우팅은 요청 난도와 비용에 맞춰 적절한 크기의 모델을 고른다.

배치 전략도 분명하다. 0.9B 모델은 시계와 안경처럼 메모리와 전력이 제한된 기기를 겨냥한다. 3.7B는 fine-tuning에 알맞은 크기, 7B는 휴대전화에서 구동할 수 있는 코딩·심층 조사 모델로 제시됐다. 32B는 노트북과 온프레미스 서버용 밀집형 모델이며, 375B-A23B는 공개 가중치 최상위권의 추론·에이전트 작업과 경쟁하는 주력 모델이다.

IFM은 0.9B, 3.7B, 7B가 수학, 추론, 소프트웨어 공학, 에이전트 평가에서 각 크기 구간 최고 수준을 기록했다고 밝혔다. 다만 이 수치는 제작 기관의 평가라는 점을 함께 봐야 한다. 공개된 체크포인트와 데이터, 학습 레시피 덕분에 제3자가 결과를 재현하고 평가 조건을 뜯어볼 수 있다는 점이 오히려 이번 공개의 핵심 검증 장치다.

사용 가능 시점도 미래 계획이 아니다. 6개 모델은 Hugging Face와 vLLM, SGLang에서 바로 받을 수 있고, Compass·Cerebras·AWS·Nebius를 통한 API도 열렸다. 모델만 내려받게 하고 학습 과정을 감추는 관행과 달리, 연구자는 데이터 구성부터 학습 절차까지 추적할 수 있다.

관심은 두 갈래로 모인다. 첫째는 약 3배라는 생성 속도가 독립 환경에서도 유지되는지, 둘째는 소형 모델의 기기 내 추론 성능이 실제 전력·메모리 제약을 견디는지다. 이 두 검증을 통과하면 K2 Horizon은 단순한 대형 모델 공개가 아니라, 한 계열의 모델을 기기부터 데이터센터까지 재현 가능하게 배치하는 공개형 기반이 된다.