NVIDIA, 30B·23B·12B 세 모델을 하나의 체크포인트에 담은 Star Elastic 공개

Star Elastic이란

NVIDIA AI가 공개한 Star Elastic은 단일 체크포인트 파일 안에 30B, 23B, 12B 세 가지 크기의 추론 모델을 담은 아키텍처다. 러시아 인형처럼 큰 모델 안에 작은 모델들이 중첩된 구조로, 하나의 파일로 세 가지 모델을 모두 활용할 수 있다.

제로샷 슬라이싱

핵심 기술은 제로샷 슬라이싱이다. 30B 전체 모델을 사용하다가 추가 파인튜닝이나 다운로드 없이 즉시 12B 모드로 전환할 수 있다. 이 모델들은 KV 캐시를 공유하기 때문에 30B 모델로 아이디어를 탐색하다가 12B 모델로 빠르게 아이디어를 발전시킨 후 다시 30B로 평가하는 하이브리드 워크플로우도 가능하다.

Dense와 MoE의 중간

r/LocalLLaMA 커뮤니티는 이 아키텍처를 Dense 모델과 MoE(Mixture of Experts)의 하이브리드로 이해한다. 전문가를 선택하는 대신 규모를 동적으로 줄여나가는 방식으로, 스케일러블 비디오 코딩에서 하나의 스트림으로 UHD/HD/SD를 생성하는 것과 유사하다.

로컬 실행 가능성

NVIDIA는 Star Elastic을 로컬 실행을 염두에 두고 설계했다. 소비자급 GPU에서 12B 모드를 활용하거나, 높은 VRAM 환경에서 30B 전체 용량을 활용할 수 있어 다양한 하드웨어에 적응 가능하다.