Kimi K3, DeepSWE에서 Fable 5 대비 달러당 해결 작업 2.8배

코딩 모델 평가는 비용 단위로 이동

대규모 코딩 에이전트를 운영하는 팀에게 중요한 숫자는 최고 점수만이 아니다. Together AI는 2026년 8월 3일 X에서 Kimi K3 Max가 DeepSWE 분석에서 “2.8× more solved tasks per dollar”를 냈다고 적었다. 같은 글은 Kimi K3 Max가 Fable 5 xhigh의 Pass@1에 근접했지만, rollout 비용은 약 3분의 1이었다고 설명한다.

연결된 Together AI 글은 DeepSWE를 실제 오픈소스 저장소의 장기 기능 요청 113개, 각 4회 시도, 숨겨진 테스트 스위트로 채점하는 소프트웨어 엔지니어링 벤치마크로 설명한다. Fable 5 xhigh는 pass@1 69.9%, Kimi K3 max는 68.5%로 1.4포인트 차이다. 그러나 pass@2에서는 Kimi가 82.0 대 80.2로 앞서고, pass@4도 89.4% 대 88.5%로 뒤집힌다.

비용 차이는 더 크다. Together의 분석에서 Kimi K3는 rollout당 $4.65, Fable 5 xhigh는 $13.41였다. 전체 452회 rollout 비용은 각각 $2,103와 $6,010로 제시됐다. 달러당 해결 작업 수로 보면 Kimi K3는 $100당 14.7개, Fable 5는 5.3개다. 반복 시도와 테스트 검증이 가능한 코딩 에이전트 작업에서는 이 차이가 모델 선택을 바꿀 수 있다.

다만 Kimi K3가 모든 면에서 우세하다는 뜻은 아니다. Fable 5는 한 번에 안정적으로 맞히는 능력과 4회 모두 성공한 작업 수에서 강했다. 다음 관전점은 Kimi K3의 공개 가중치 배포 뒤 추론 최적화가 지연 시간을 얼마나 줄이는지, 그리고 DeepSWE 결과가 실제 기업 저장소의 CI와 리뷰 흐름에서도 유지되는지다. 원문 트윗은 X에서 확인할 수 있다.