Quantized Gemma 4 31B, 메모리 절반으로 tokens/sec를 거의 두 배 끌어올리다

트윗이 내놓은 숫자

Quantization은 숫자만 화려하고 실제 서비스에서는 미묘한 품질 손실로 무너지는 경우가 많다. 그래서 Red Hat AI가 2026년 4월 13일 X에 올린 요약은 단순하지만 강하다.

“nearly 2x tokens/sec, half the memory, 99%+ accuracy retained.”

비교 대상도 명확하다. 같은 Gemma 4 31B를 두고 quantized variant가 tokens/sec를 거의 2배로 끌어올리고, 메모리는 절반으로 줄이며, 정확도는 99%+를 유지했다는 주장이다. 이 수치가 흔한 inference setup에서도 재현된다면 31B급 open model을 어떤 hardware tier에서 돌릴 수 있는지, 그리고 batching과 latency budget을 어디까지 밀 수 있는지가 달라진다.

왜 open-source 문맥이 중요한가

Red Hat AI 계정은 consumer teaser보다 open model serving, quantization, vLLM ecosystem 관련 실무 신호를 많이 올린다. 이번 post도 그 연장선에 있지만, 단순한 “더 빨라졌다”가 아니라는 점이 핵심이다. 댓글에는 LLM Compressor repo와 여러 Gemma 4 quantized checkpoint가 직접 연결돼 있다. GitHub 설명에 따르면 LLM Compressor는 vllm 배포 최적화를 위한 library로, weight-only 및 activation quantization, Hugging Face integration, safetensors 기반 포맷 호환성을 제공한다.

후속 reply는 근거를 더 보탠다. Red Hat AI는 팀이 quantized models에 대해 500,000 evals를 수행했고, 결과를 “Give Me BF16 or Give Me Death?” 논문과 연결했다. 핵심은 checkpoint를 더 작게 만드는 데 그치지 않고, 포맷을 잘 고르면 baseline accuracy의 99%+를 회복하면서도 serving 비용을 실질적으로 낮출 수 있다는 주장이다.

이제 봐야 할 것은 재현성이다. X에서는 throughput screenshot이 빠르게 확산되지만, 실제 현장에서는 GPU 종류, prompt 길이, tool calling trace, chat template 민감한 작업에서 품질이 어떻게 유지되는지가 더 중요하다. independent builder들이 open Gemma 4 variants가 메모리 압박을 줄이면서도 품질을 지킨다고 확인한다면, 이번 post는 단순 benchmark 홍보가 아니라 강한 open model을 더 싼 비용으로 굴릴 수 있다는 실무 신호가 된다.

Sources: Red Hat AI X post · LLM Compressor · quantization paper · Red Hat AI Hugging Face models