OpenAI는 2026년 2월 13일 공개한 분석에서 ChatGPT의 reasoning 품질 변화를 장기 추적으로 제시했다. 핵심은 단일 benchmark 점수가 아니라, 실제 사용자 대화 맥락에서 "얼마나 자주 어려운 문제를 사람 기준 이상으로 푸는가"를 본 것이다.

회사 발표에 따르면 분석 대상은 100만 건 이상 대화이며, 2024년 9월부터 2026년 1월까지 주간 스냅샷을 기준으로 변화를 추적했다. 이 기간 동안 인간 기준선을 초과한 고난도 상호작용의 비중이 약 4배 증가했다는 것이 OpenAI의 요지다. 즉, 개선이 일부 영역의 점수 최적화에 그치지 않고 실제 사용 시나리오로 확산됐다는 주장이다.

세부 예시도 제시됐다. 관리 컨설팅 케이스 인터뷰 유형 과제에서 통과 수준 응답 비중은 약 16%에서 약 55%로 증가했다. New York Times mini crossword 같은 개방형 퍼즐 과제에서는 약 2%에서 약 17%로 상승했다. 둘 다 정답 한 줄만 맞히는 구조가 아니라 문제 해석, 중간 가설, 오류 수정이 결합된 과제라는 점이 중요하다.

OpenAI는 실사용 지표와 함께 내부 실험실 benchmark 변화도 병행 공개했다. 수학 AIME 계열은 약 40%에서 약 80%로, 코딩 USACO 계열은 약 11%에서 약 70%로 향상됐다고 밝혔다. 회사는 이런 상승이 모델 스케일링만의 결과가 아니라, 학습 절차·추론 전략·평가 루프 개선이 결합된 결과라고 설명한다.

이번 공개의 의미는 두 가지다. 첫째, reasoning 모델의 성능을 정적 벤치마크가 아닌 "사용 맥락 기반"으로 추적하는 프레임을 제시했다. 둘째, 기업 도입 관점에서 모델 선택 기준이 단순 평균 점수에서 실제 업무 난이도별 성공률로 이동하고 있음을 보여준다.

다만 해석 시 주의점도 있다. 사용자 표본 구성과 과제 분포가 시기마다 달라질 수 있고, 사람이 매긴 품질 기준 역시 도메인 편향을 가질 수 있다. 따라서 운영팀은 벤더 공개 지표를 그대로 채택하기보다, 자체 업무 로그 기반으로 동일 프레임을 재검증하는 것이 바람직하다.

#usaco

OpenAI, 100만+ 대화 분석 공개: ChatGPT 고난도 reasoning 상호작용 4배 증가