실전 테스트: 동일한 프로젝트, 동일한 프롬프트

Reddit의 r/LocalLLaMA 커뮤니티에서 한 개발자가 흥미로운 실험을 공유했다. Cesium을 사용한 Google Earth 스타일의 3D 지구본 뷰어 웹 앱을 두 AI 모델에게 동일한 조건으로 구축하도록 한 것이다. 두 모델 모두 Claude Code 환경에서 같은 commit에서 시작해 동일한 프롬프트를 받았다.

Task 1: 기본 지구본 앱 구축

첫 번째 작업은 Cesium 지구본 렌더링, 팬/줌/회전 기능, 베이스 레이어, 그리고 기본 UI를 구현하는 것이었다. 두 모델 모두 근접한 결과를 냈고, 각각 한 번의 수정이 필요했다.

Kimi K2.5: 약 29분 + 9분 43초 수정, 15.9k 출력 토큰, 429개 파일 변경
Opus 4.5: 약 23분 + 7분 수정, 22개 파일 변경

여기서 주목할 점은 Kimi가 429개 파일을 변경한 반면, Opus는 22개만 수정했다는 것이다. 이는 코드 품질과 효율성에서 Opus의 우위를 보여준다.

Task 2: 인증 + PostHog 통합

두 번째 작업은 진짜 테스트였다. 인증 추가, Composio를 통한 PostHog 연동, 로그인 후 사용자 위치 캡처, 그리고 지구본 위에 활성 사용자를 마커로 표시하고 클릭 시 이름/이메일 표시하는 기능이었다.

Kimi는 여기서 고전했다. 처음에 server-only 패키지를 브라우저에서 실행하려 했고, 인증이 깨졌다. NextAuth로 전환했지만 여전히 작동하지 않았고, 수정 루프가 상황을 악화시켰다. 반면 Opus는 end-to-end 플로우를 한 번에 완성했다.

Kimi K2.5: 약 18분 + 5분 2초 + 1분 3초 수정, 24.3k 출력 토큰, 21개 파일 변경
Opus 4.5: 40분 이상, 21.6k 출력 토큰, 6개 파일 변경

결론: 적재적소

개발자는 "코드 품질과 아웃풋에 관해서는 답을 알고 있었고, 이 둘을 비교하는 것은 약간 불공평하다"고 솔직히 인정했다. 하지만 핵심은 다른 곳에 있다.

Kimi K2.5는 많은 작업에 충분히 좋다. 비용이 중요한 고려사항이고, 중급 난이도의 코딩 작업을 다룬다면, Kimi K2.5는 실용적인 선택이 될 수 있다. 특히 agentic 제품 구축에는 현재 가장 좋은 모델일 수 있다는 평가다.

개발자는 "Claude Max 구독을 취소하고 싶다"는 농담 섞인 소감을 남겼지만, 실제로는 각 모델의 강점을 이해하고 적절히 활용하는 것이 최선의 전략임을 보여준다. 복잡하고 중요한 작업에는 Opus를, 일상적이고 반복적인 작업에는 Kimi K2.5를 사용하는 하이브리드 접근이 비용 효율적일 수 있다.

#ai-comparison

Kimi K2.5 vs Claude Opus 4.5: 저렴한 AI 코딩 모델은 프리미엄 대체재가 될 수 있을까