NVMe-to-GPU로 RTX 3090 단일 GPU에서 Llama 3.1 70B 실행

단일 소비자용 GPU에서 70B 모델 실행

Hacker News에 공개된 오픈소스 프로젝트 ntransformer가 단일 RTX 3090에서 Llama 3.1 70B 모델을 실행하는 방법을 선보여 233포인트를 받으며 주목받고 있습니다. RTX 3090의 VRAM은 24GB로, 일반적으로 70B 파라미터 모델(약 140GB)을 담기에는 턱없이 부족합니다.

핵심 기술: NVMe-to-GPU 직접 전송

이 프로젝트의 핵심은 CPU RAM을 완전히 우회하는 것입니다. 일반적인 모델 추론 방식에서는 모델 가중치를 저장소 → CPU RAM → GPU VRAM 순으로 이동시켜야 합니다. ntransformer는 NVMe SSD에서 GPU VRAM으로 가중치를 직접 스트리밍합니다.

CPU 메모리 병목 현상 제거
NVMe의 높은 대역폭 직접 활용
현재 필요한 레이어만 GPU에 로드 (레이어별 스트리밍)

의미와 한계

이 접근법은 고가의 서버급 하드웨어 없이도 대규모 모델을 실험할 수 있다는 점에서 의미가 있습니다. 물론 추론 속도는 VRAM에 모델이 완전히 로드된 경우보다 느리지만, 접근성 면에서 큰 진전입니다.

GitHub에서 오픈소스로 공개되어 있으며, 이를 활용해 고급 소비자 GPU를 보유한 개발자들이 70B급 모델을 로컬에서 실행할 수 있게 됩니다.

LLM Reddit 6d ago 2 min read

LocalLLaMA PSA: 새 모델 평가는 편의 래퍼보다 기본 런타임부터 맞추라는 조언

r/LocalLLaMA에서 주목받은 PSA는 Ollama나 LM Studio 같은 편의 레이어가 model behavior를 바꿀 수 있으므로, 새 모델 평가는 먼저 llama.cpp, transformers, vLLM, SGLang 같은 기본 런타임에서 해야 한다고 조언한다. 댓글에서도 핵심은 특정 툴 선호가 아니라 template, stop token, sampling, quantization을 고정한 재현성이라는 점이 강조됐다.

#[#"#l

LLM Reddit 6d ago 1 min read