Kimi K3, DeepSWE에서 Fable 5 대비 달러당 해결 작업 2.8배
코딩 에이전트 평가는 이제 pass@1만으로 부족하다. Together AI는 DeepSWE 분석에서 Kimi K3가 Fable 5에 근접한 pass@1을 보이면서 rollout 비용은 약 3분의 1이었다고 밝혔다.
원문: Kimi K3 gets 2.8x more DeepSWE solves per dollar than Fable 5 원문 보기 →
코딩 모델 평가는 비용 단위로 이동
대규모 코딩 에이전트를 운영하는 팀에게 중요한 숫자는 최고 점수만이 아니다. Together AI는 2026년 8월 3일 X에서 Kimi K3 Max가 DeepSWE 분석에서 “2.8× more solved tasks per dollar”를 냈다고 적었다. 같은 글은 Kimi K3 Max가 Fable 5 xhigh의 Pass@1에 근접했지만, rollout 비용은 약 3분의 1이었다고 설명한다.
연결된 Together AI 글은 DeepSWE를 실제 오픈소스 저장소의 장기 기능 요청 113개, 각 4회 시도, 숨겨진 테스트 스위트로 채점하는 소프트웨어 엔지니어링 벤치마크로 설명한다. Fable 5 xhigh는 pass@1 69.9%, Kimi K3 max는 68.5%로 1.4포인트 차이다. 그러나 pass@2에서는 Kimi가 82.0 대 80.2로 앞서고, pass@4도 89.4% 대 88.5%로 뒤집힌다.
비용 차이는 더 크다. Together의 분석에서 Kimi K3는 rollout당 $4.65, Fable 5 xhigh는 $13.41였다. 전체 452회 rollout 비용은 각각 $2,103와 $6,010로 제시됐다. 달러당 해결 작업 수로 보면 Kimi K3는 $100당 14.7개, Fable 5는 5.3개다. 반복 시도와 테스트 검증이 가능한 코딩 에이전트 작업에서는 이 차이가 모델 선택을 바꿀 수 있다.
다만 Kimi K3가 모든 면에서 우세하다는 뜻은 아니다. Fable 5는 한 번에 안정적으로 맞히는 능력과 4회 모두 성공한 작업 수에서 강했다. 다음 관전점은 Kimi K3의 공개 가중치 배포 뒤 추론 최적화가 지연 시간을 얼마나 줄이는지, 그리고 DeepSWE 결과가 실제 기업 저장소의 CI와 리뷰 흐름에서도 유지되는지다. 원문 트윗은 X에서 확인할 수 있다.
관련 기사
Cursor, 사전학습 연장부터 실제 워크플로 RL까지 Composer 2 학습 스택 공개
Cursor는 2026년 3월 26일 real-time RL을 통해 5시간마다 개선된 checkpoint를 배포할 수 있다고 밝혔다. Cursor의 3월 27일 technical report는 Composer 2가 Kimi K2.5 기반 continued pretraining과 realistic Cursor session에서의 대규모 RL을 결합하며, CursorBench 61.3, SWE-bench Multilingual 73.7, Terminal-Bench 61.7을 기록했다고 설명한다.
Qwen3.6-35B보다 더 크게 번진 것, LocalLLaMA가 본 scaffold 문제
LocalLLaMA를 흔든 건 단순한 Qwen 점수 상승이 아니었다. 같은 계열 로컬 모델이 scaffold 변경만으로 19%에서 45%, 다시 78.7%까지 올라갔다는 서사가 붙으면서, 벤치마크 비교 자체를 다시 봐야 한다는 분위기가 퍼졌다.
Hacker News가 주목한 ATLAS, local coding agent 비용 모델에 던지는 질문
Hacker News에서 화제가 된 ATLAS는 consumer GPU 기반 local coding agent의 비용 효율을 크게 강조한다. 다만 README의 74.6% LiveCodeBench 수치는 best-of-3 plus repair 파이프라인과 다른 task 수를 전제로 하므로, Claude 4.5 Sonnet과의 비교는 비통제 비교로 읽어야 한다.