LocalLLaMA가 본 NVIDIA gpt-oss-puzzle-88B, gpt-oss-120b를 더 싸게 서빙하려는 88B 재설계

배포 경제성을 겨냥한 더 작은 모델

2026년 3월 26일 r/LocalLLaMA에서는 NVIDIA의 새 gpt-oss-puzzle-88B Hugging Face 모델 카드가 주목을 받았다. 크롤링 시점 기준 반응은 284 points와 105 comments였다. NVIDIA 설명에 따르면 이 모델은 OpenAI의 gpt-oss-120b에서 출발해, 자사의 Puzzle post-training neural architecture search 파이프라인으로 다시 구성됐다. 목표는 분명하다. reasoning-heavy workload에서 부모 모델 품질을 포기하지 않으면서 서빙 효율을 끌어올리는 것이다.

NVIDIA는 이 결과물을 연구용 curiosity보다 production deployment용 모델로 포지셔닝한다. 모델 카드는 파라미터 수가 약 88B로 줄어 부모 대비 약 73% 수준이 됐고, 8x H100 node의 long-context 64K/64K 조건에서 1.63배, short-context 조건에서 1.22배, single H100 GPU에서는 최대 2.82배 throughput 개선을 주장한다. 또한 reasoning-effort 설정 전반에서 정확도는 부모 모델과 비슷하거나 약간 더 높다고 적고 있다.

Puzzle이 바꾼 것

모델 카드는 세 가지 핵심 구조 변경을 설명한다. 첫째, heterogeneous MoE expert pruning이다. 앞단 layer에는 더 많은 expert를 남기고, 뒤쪽 layer는 더 공격적으로 줄인다. 둘째, selective window attention이다. 일부 global attention layer를 8K window attention으로 대체해, NVIDIA 주장 기준 long-context 상황에서 KV-cache footprint를 약 40% 줄인다. 셋째, YaRN RoPE scaling factor를 조정해 128K context length에서의 안정성을 높였다.

NVIDIA는 학습 절차도 비교적 자세히 공개했다. architecture selection 이후 128K sequence length 기준 84B tokens로 knowledge distillation을 수행했고, 이어 math, coding, reasoning 환경 전반에서 reinforcement learning을 적용했다고 설명한다. 서빙 스택은 MXFP4 MoE weights와 FP8 KV-cache scaling을 사용하며, low, medium, high의 reasoning-effort mode를 통해 운영자가 비용과 응답 깊이를 더 예측 가능하게 조절할 수 있다고 적는다. 또한 vLLM과 Transformers 지원, Linux 기준 H100과 B200 타깃도 명시했다.

왜 LocalLLaMA가 반응했나

흥미로운 지점은 단순히 또 하나의 open-weight reasoning model이 나왔다는 사실이 아니다. 더 중요한 신호는 최적화 목표가 바뀌었다는 점이다. 단지 더 크거나 benchmark 수치가 높은 모델을 내는 대신, NVIDIA는 이미 강한 베이스 모델을 실제 KV-cache와 memory 제약 아래 더 쉽게 서빙하도록 압축하는 post-training architecture search 파이프라인을 팔고 있다. Hugging Face가 약 91B parameters로 표시할 수 있지만 NVIDIA는 여전히 88B라고 부르는 모델 카드의 주석조차, 이제는 quantization metadata와 headline parameter count가 서로 어긋나기 시작했다는 현실을 보여준다.

그래서 r/LocalLLaMA 토론이 의미 있었다. 이 커뮤니티는 더 이상 raw parameter scale만으로 쉽게 감탄하지 않는다. 대신 어떤 open model이 실제 hardware cost 안에서 long-context reasoning을 제공할 수 있는지를 더 중요하게 본다. gpt-oss-puzzle-88B는 바로 그 질문 한가운데에 놓인 모델이다.

원문: NVIDIA model card. 커뮤니티 토론: r/LocalLLaMA.