#model-efficiency

ngrokは2026-03-25公開のexplainerで、quantizationがLLMをroughly 4x smaller、2x fasterにでき、4-bitと8-bitのtrade-offをどう読むべきかを丁寧に整理した。Hacker Newsはこの投稿を247 pointsと46 commentsまで押し上げ、memory bottleneckとlocal inferenceのコスト構造をあらためて議論した。

OpenAIはXで、16 MBのartifact limitと8×H100で10分のtraining budgetの下で最も効率的なpretrained modelを競う公開研究チャレンジ「Parameter Golf」を開始すると発表した。固定FineWeb dataset、公開baseline repo、任意のRunpod compute creditsが用意される。