#benchmarks

重要なのは、GPT-5.5 launch直後に出た最初期のexternal benchmark readoutのひとつだという点だ。Artificial AnalysisはIntelligence Indexで3点差首位とした一方、指数実行コストは約20％高くなったと述べた。

重要なのは、inference costがinfrastructure問題だけでなくproduct constraintになっている点だ。CohereはvLLMのW4A8 pathがHopper上でW4A16比TTFT最大58%、TPOT最大45%高速だと述べた。

重要なのは、OpenAIがaccuracy claimsが直接clinical consequenceへつながるregulated workflowを狙っている点だ。linked rolloutはphysician-reviewed 6,924 conversationsと99.6% safe/accurate ratingを示している。

重要なのは、search AIでは流暢な回答だけでなくfactualityとcitation qualityが評価軸になることだ。PerplexityはSFT + RL pipelineにより、Qwen modelsがより低いcostでGPT modelsのfactualityに並ぶ、または上回ると述べた。

Alibabaの4月22日のQwen3.6-Max-Preview postは、六つのcoding benchmarkでtop score、Qwen3.6-Plusからの改善を主張する。ただし重要な条件もある。これはopen-weight releaseではなく、hosted proprietary previewだ。

r/LocalLLaMAが反応したのはleaderboardの順位だけではなく、Opus 4.7のscoreと実使用感のズレ、Kimi K2.6のcoding agent適性だった。

新しいarXiv preprintは、評価結果のconsequenceを示す一文だけでLLM judgeが有意に寛容になったと報告した。自動safety・quality benchmarkの弱点が見えた。

r/LocalLLaMAが反応したのは具体的な数字だ。RTX 5070 Tiで128K context、79 t/s、その鍵がllama.cppのflagに絞られた。

MM-WebAgentは、AI製webpageが部品単位では良くても全体で崩れる問題を狙う。階層型planning、self-reflection、benchmark、code/data公開により、code-onlyでは見えないmultimodal coherenceを測れるようにした。

r/singularityが反応したのは、Opus 4.7 highが41.0%、Opus 4.6が94.7%という数字だけではない。Communityは、その差が能力低下なのか、refusal policyなのか、benchmark解釈なのかを切り分けようとしていた。

r/LocalLLaMAが見ていたのは、Qwen3.6のrelease headlineではなく、どのGGUF quantを実機で使うべきかだった。Unslothのbenchmark postは、KLD、disk space、CUDA 13.2のgibberish問題、CUDA 13.1/13.3対応へ議論を引き寄せた。

新しいarXiv論文は、低い平均違反率の裏でLLM judgeの入力別不安定性が見えにくくなる問題を示した。SummEvalでは文書の33-67%に少なくとも1つのdirected 3-cycleがあり、prediction set widthはabsolute errorと強く結びついた。