Reddit 글의 핵심 수치

LocalLLaMA의 높은 반응을 얻은 글은 2026년 1월 SWE-rebench 결과를 공유했다. 평가 대상은 최근 생성된 GitHub PR 과제 48개이며, 에이전트가 이슈를 읽고 코드를 수정한 뒤 테스트를 통과해야 해결로 인정되는 구조다. 게시글 기준으로 Claude Code(Opus 4.6)는 resolved rate 52.9%, pass@5 70.8%를 기록했고, Claude Opus 4.6과 gpt-5.2-xhigh는 51.7%로 근접했다.

오픈 모델 구간과 비용 포인트

같은 게시글은 오픈 모델 상위권으로 Kimi K2 Thinking 43.8%, GLM-5 42.1%, Qwen3-Coder-Next 40.0%, MiniMax M2.5 39.6%를 제시했다. SWE-rebench 페이지 설명에서는 MiniMax M2.5의 비용 효율성과 Qwen3-Coder-Next의 높은 pass@5가 별도로 강조된다. 댓글에서는 모델 자체 성능뿐 아니라 API 제공자 차이, 캐시 지원 여부 같은 운영 조건이 실제 체감 성능을 크게 바꾼다는 의견이 많았다.

방법론 해석이 결과만큼 중요

벤치마크 페이지는 contamination 가능 구간, 모델 출시 시점 정렬, 실행 플래그와 도구 권한 등 방법론 이슈를 명시적으로 경고한다. 특히 headless 모드 설정이나 토큰 계산 가정은 점수와 비용 추정에 직접 영향을 줄 수 있다. 따라서 리더보드는 방향성 판단에는 유용하지만, 실제 도입 결정은 조직별 코드베이스와 개발 프로세스에서 재검증이 필요하다.

2026년 엔지니어링 팀에 주는 의미

이번 스냅샷의 핵심은 수렴이다. 최상위 폐쇄형 모델이 여전히 선두를 유지하지만, 오픈 모델이 코딩 에이전트 과제에서 빠르게 격차를 줄이고 있다. 결과적으로 팀은 단순 순위 비교가 아니라 품질·지연·비용을 자사 워크로드에서 함께 측정하는 평가 파이프라인을 갖춰야 한다. Reddit 토론과 SWE-rebench 업데이트는 현재 시장의 실제 경쟁 구도를 보여주는 실무형 자료다.

Reddit discussion thread

#open-models

SWE-rebench 2026년 1월 결과, 코딩 에이전트 경쟁이 상위권에서 초접전으로 전개