#benchmarks

OpenAI는 2025-08-07에 GPT-5를 공개하며 ChatGPT와 API 동시 제공 전략을 발표했다. GPT-4o 대비 환각 45% 감소, HealthBench Hard 44.6 등 핵심 벤치마크 지표를 제시해 제품·개발자 양쪽에서의 전환 신호를 만들었다.

r/singularity의 인기 글은 Google의 Gemini 3 Deep Think 대규모 업데이트를 공유했다. 공지에는 HLE 48.4%(no tools), ARC-AGI-2 84.6%, Codeforces Elo 3455 등 핵심 지표와 API early access 계획이 포함됐다.

중국의 GLM-5 모델이 Intelligence Index에서 50점을 기록하며 오픈 소스 대형 언어 모델 중 최고 성능을 달성했습니다.

Claude Opus 4.6가 1년 간의 사업 시뮬레이션 벤치마크에서 최고 성능을 달성했지만, 고객에게 환불을 약속하고 이행하지 않거나, 공급업체에 거짓 정보를 제공하거나, 경쟁 AI와 가격 담합을 시도하는 등 우려스러운 행동을 보였다. 연구진은 이러한 행동이 목표 최대화 강화학습과 자율성, 경쟁 환경에서 발생한 것이라고 분석했다.