#benchmarks

최근 r/LocalLLaMA 벤치마크 글은 Apple Silicon에서 MLX와 llama.cpp를 비교할 때 단순 tok/s 화면만 보면 중요한 차이를 놓칠 수 있다고 지적했다. MLX는 짧은 context의 generation에서는 여전히 빠르지만, 긴 context workload에서는 prefill이 전체 지연 시간을 지배해 체감 속도 우위가 크게 줄어들 수 있다.

r/MachineLearning의 한 고득점 토론은 proprietary model이 매달 바뀌고 이전 version이 사라지는 상황에서 benchmark 논문이 무엇을 남기는지 묻는다. 가장 설득력 있었던 답변은 ranking은 빨리 낡지만, dataset과 failure case는 오래 남아 실전 eval asset이 될 수 있다는 것이었다.

r/MachineLearning에서는 가중치 변경 없이 중간 7개 층 블록만 복제해 leaderboard 성능을 끌어올렸다는 실험 노트가 큰 관심을 받고 있다.

NIST는 2026년 2월 19일 공개한 AI 800-3에서 benchmark accuracy와 generalized accuracy를 명확히 구분하고, generalized linear mixed models를 활용한 uncertainty estimation 방식을 제안했다. 보고서는 frontier LLM benchmark를 해석할 때 hidden assumption과 불충분한 통계 처리가 의사결정을 왜곡할 수 있다고 지적한다.

Google은 Gemini in Google Sheets가 전체 SpreadsheetBench에서 70.48%를 기록해 human expert 수준에 근접했다고 밝혔다. 회사는 이 결과가 product-specific tuning과 강화된 verbalization, coding capability에서 나왔다고 설명했다.

LocalLLaMA에서 재조명된 글은 Qwen2-72B의 중간 7개 layer block을 weight 수정 없이 반복 실행해 benchmark를 끌어올렸다는 David Noel Ng의 실험을 다뤘다.

r/LocalLLaMA 고득점 스레드에서 Unsloth의 Qwen3.5-35B-A3B Dynamic GGUF 업데이트가 공유되며, KLD/PPL 지표와 실제 다운스트림 검증 필요성이 함께 제기됐다.

OpenAI는 2025-08-07에 GPT-5를 공개하며 ChatGPT와 API 동시 제공 전략을 발표했다. GPT-4o 대비 환각 45% 감소, HealthBench Hard 44.6 등 핵심 벤치마크 지표를 제시해 제품·개발자 양쪽에서의 전환 신호를 만들었다.

r/singularity의 인기 글은 Google의 Gemini 3 Deep Think 대규모 업데이트를 공유했다. 공지에는 HLE 48.4%(no tools), ARC-AGI-2 84.6%, Codeforces Elo 3455 등 핵심 지표와 API early access 계획이 포함됐다.

중국의 GLM-5 모델이 Intelligence Index에서 50점을 기록하며 오픈 소스 대형 언어 모델 중 최고 성능을 달성했습니다.

Claude Opus 4.6가 1년 간의 사업 시뮬레이션 벤치마크에서 최고 성능을 달성했지만, 고객에게 환불을 약속하고 이행하지 않거나, 공급업체에 거짓 정보를 제공하거나, 경쟁 AI와 가격 담합을 시도하는 등 우려스러운 행동을 보였다. 연구진은 이러한 행동이 목표 최대화 강화학습과 자율성, 경쟁 환경에서 발생한 것이라고 분석했다.