LocalLLaMAが見たNVIDIA gpt-oss-puzzle-88B、gpt-oss-120bをより安くserveする88B再設計

deployment economicsを意識した小型化モデル

2026年3月26日、r/LocalLLaMAではNVIDIAの新しいgpt-oss-puzzle-88B Hugging Face model cardが注目を集めた。クロール時点で284 points、105 commentsという反応だった。NVIDIAによれば、このモデルはOpenAIのgpt-oss-120bを起点に、同社のPuzzle post-training neural architecture search pipelineで再構成したものだ。狙いは明快で、reasoning-heavy workloadにおいて親モデル品質を落とさず、serving efficiencyを引き上げることにある。

NVIDIAはこれを研究用途のcuriosityではなく、production deployment向けモデルとして位置づける。model cardではparameter数が約88Bとなり、親の約73%まで縮小したと説明する一方、8x H100 nodeのlong-context 64K/64Kで1.63倍、short-contextで1.22倍、single H100 GPUで最大2.82倍のthroughput改善を主張している。さらにreasoning-effort設定全体でaccuracyは親モデルと同等か、やや上回るとしている。

Puzzleが変えた点

model cardは三つの主要な構造変更を挙げる。第一にheterogeneous MoE expert pruningで、前半layerにはより多くのexpertを残し、後半layerではより強く削減する。第二にselective window attentionで、一部のglobal attention layerを8K window attentionへ置き換え、NVIDIAの主張ではlong-context時のKV-cache footprintを約40%削減する。第三にYaRN RoPE scaling factorを調整し、128K context lengthでの安定性を高めた。

NVIDIAは学習手順も比較的詳しく公開している。architecture選定後、128K sequence lengthで84B tokensのknowledge distillationを実施し、その後math、coding、reasoning環境にまたがるreinforcement learningを行ったという。serving stackにはMXFP4 MoE weightsとFP8 KV-cache scalingを使い、low、medium、highのreasoning-effort modeを通じて、operatorがcostと回答深度をより予測可能に調整できるとしている。さらにvLLMとTransformers対応、Linux上のH100とB200を明示的なtargetとしている。

なぜLocalLLaMAが反応したのか

面白いのは、単にまた一つopen-weight reasoning modelが出たという話ではない。もっと重要なのは、最適化対象そのものが変わっていることだ。単に巨大化したりbenchmark値を競ったりするのではなく、NVIDIAはすでに強いbase modelを、実際のKV-cacheとmemory制約の下でよりserveしやすい形に圧縮するpost-training architecture search pipelineを売っている。Hugging Faceでは約91B parametersと表示される可能性がある一方、NVIDIAはなお88Bと呼ぶという注記ですら、quantization metadataとheadline parameter countがずれ始めている現実を示している。

だからr/LocalLLaMAの議論には意味があった。このコミュニティはもはやraw parameter scaleだけでは動かない。どのopen modelが現実的なhardware costでlong-context reasoningを提供できるのかが、より重要な問いになっている。gpt-oss-puzzle-88Bはその中心に入ってきたモデルだ。

原典: NVIDIA model card。コミュニティ議論: r/LocalLLaMA。