#benchmarks

なぜ重要か。最先端のコーディングモデルでは公開ベンチマークだけでは体感差が見えにくくなっているからだ。CursorはGPT-5.5が自社評価のCursorBenchで72.8%の首位に立ち、5月2日まで価格を50%下げると書いた。

新しいベンチマーク歓迎の声と同時に、HNはすぐ一発勝負の採点でコーディングモデルを測れるのかへ議論を移した。

重要なのは、model launchの成否がweightsだけでなくservingとtrainingの支援に左右されることだ。LMSYSはDay-0 stackでB200 199 tok/s、H200 266 tok/sを示し、900K contextでも落ち込みが小さいと書いた。

xAIが狙うのは会話デモではなく実務向け音声エージェントだ。Grok Voice Think Fast 1.0はτ-voice Bench首位を掲げ、25言語超に対応し、Starlink運用では販売転換率20%、サポート解決率70%を出したとしている。

OpenAIが狙っているのは会話品質の小幅改善ではなく、長時間タスクの自動化だ。公開値ではGPT-5.5がTerminal-Bench 2.0で82.7%に達し、GPT-5.4を7.6ポイント上回り、Codexではより少ないトークンで動くとされる。

LocalLLaMAが反応したのは単なる数値比較ではなかった。多くのローカル推論ユーザーが事実上の常識として使っていたルールを崩し、とくにGemma系でモデル差が大きいことを示したからだ。2026年4月25日時点でスレッドは324ポイント、58コメントだった。

LocalLLaMAがこの投稿を押し上げたのは、皆がベンチマークを信じたからではない。27Bのオープンモデルがエージェント型タスクで急に競争圏へ入ったように見え、その重要さと怪しさが同時に出たことで議論が熱くなった。

Sakana AIは、複数モデルの協調そのものを商用APIとして売り出し始めた。β公開時点の表では fugu-ultra が GPQAD 95.1、SWE-Pro 54.2 を出し、GPT 5.4 high や Gemini 3.1 high と真っ向から比べにいっている。

r/MachineLearningが注目したのは、単なる順位表ではなく「文書抽出で高いモデル代を払いすぎていないか」を繰り返し実行の数値で突いた点だった。cost-per-successやcritical-field精度まで含めたことで、コスト議論がかなり具体化した。

LocalLLaMAを動かしたのは単なるQwenのスコア更新ではなかった。同じ系統のローカルモデルがscaffold変更だけで19%から45%、さらに78.7%へ伸びたという流れが、ベンチマーク比較そのものを見直す空気を生んだ。

重要なのは、enterprise OCRの失敗がacademic PDF benchmarkより早くagentを壊すことだ。LlamaIndexはParseBenchがhuman-verifiedの約2,000ページと16.7万超のrulesで14手法をKaggle上で比較すると述べた。

重要なのは、open-weight 27B dense modelがはるかに大きいcoding systemとagent taskで正面比較されていることだ。Qwenのmodel cardではSWE-bench VerifiedがQwen3.6-27Bで77.2、Qwen3.5-397B-A17Bで76.2、licenseはApache 2.0となっている。