Kimi K3, 2.8T 오픈 가중치와 1M 컨텍스트로 열린 모델 인프라 경쟁 재점화 신호

2.8T 오픈 모델의 실제 공개

2.8T 규모의 오픈 가중치 모델이 Hugging Face에 올라오면서 프런티어급 모델 경쟁의 초점이 API 접근권에서 배포 가능한 가중치와 실행 인프라로 이동했다. Moonshot AI의 Kimi 계정은 2026년 7월 27일 X에서 Kimi K3의 모델 가중치와 기술 보고서를 공개했다고 전했고, 이 트윗은 약 924만 조회와 4만 개 이상의 좋아요를 기록했다.

"Kimi K3 is our most capable model: a 2.8T MoE model with native visual understanding and a 1M-token context window."

핵심은 단순한 파라미터 수가 아니다. Hugging Face 모델 카드에 따르면 Kimi K3는 2.8T 전체 파라미터 중 토큰당 104B를 활성화하는 MoE 구조이며, 896개 전문가 중 16개를 선택한다. 컨텍스트 길이는 1,048,576 토큰이고, 텍스트와 이미지 입력을 다루는 네이티브 멀티모달 모델로 소개됐다.

Moonshot은 Kimi Delta Attention, Attention Residuals, Stable LatentMoE를 묶어 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 높였다고 설명한다. 함께 공개된 항목도 중요하다. 고성능 어텐션 커널, MoE 통신 라이브러리, 에이전트 환경을 대규모로 운영하기 위한 인프라가 포함돼 있어, 연구자와 운영팀이 단순 다운로드 이후의 실행 비용과 시스템 설계를 바로 검토할 수 있다.

다음 관전점은 라이선스 해석, 실제 추론 비용, 그리고 커뮤니티 양자화의 품질이다. 2.8T 총파라미터 모델은 오픈 가중치라고 해도 개인 장비보다 데이터센터형 배포가 중심이 될 가능성이 크다. 원문 트윗: Kimi_Moonshot on X.