단종 Intel Optane으로 1조 파라미터 모델을 초당 4토큰에 구동

1조 파라미터 모델의 로컬 실행

r/LocalLLaMA 커뮤니티에서 한 사용자가 Intel Optane 영구 메모리(PMem)를 활용해 Kimi K2.5 1조 파라미터 모델을 초당 4토큰 이상으로 로컬 실행하는 데 성공한 빌드를 공개했다. 677점 이상을 기록하며 LLM 커뮤니티의 큰 관심을 끌었다.

Intel Optane이란

Intel Optane PMem은 DIMM 폼팩터의 메모리 모듈로, DRAM과 SSD의 중간 특성을 갖는다. Intel이 제품 라인을 단종시키면서 중고 시장에서 동급 DRAM 용량보다 훨씬 저렴하게 구입할 수 있게 됐다.

빌드 구성

이 사용자는 Optane PMem을 메모리 모드로 운용해 768GB의 유효 RAM 용량을 확보했다. Kimi K2.5의 혼합 전문가(MoE) 아키텍처를 활용해 llama.cpp의 하이브리드 GPU/CPU 추론을 구성했으며, 12GB GPU에 어텐션 가중치와 덴스 레이어를 배치했다.

의미

1조 파라미터 모델의 로컬 실행은 지금까지 데이터센터급 하드웨어가 필요한 영역이었다. 중고 Optane으로 이를 가능하게 한 이 빌드는 LLM 추론의 접근성 확장에 새로운 가능성을 보여준다.