AI 해커뉴스
코딩 에이전트에 TDD를 시켰더니…테스트 두 배, 정확도는 제자리
테스트를 더 쓰라는 지시가 더 정확한 코드를 보장하지 않는다는 대규모 실험이 개발자들의 경험담을 데이터로 끌어냈다. 26개 조건에서 에이전트는 형식 기법과 property-based testing을 자주 겉모양만 따라 했고, 기본 설정이 오히려 평균 이상이었다.
2분 소요
Claude·Codex·Cursor 도구 선택 일치율 42%, TDD 강제 시 테스트만 두 배로 늘고 정확도는 그대로, OpenAI 코딩 에이전트 노동량 인간의 3.1배, Spotify의 Claude Code 토큰 90% 절감 사례까지 에이전트 코딩의 현실과 최적화를 추적한다.
테스트를 더 쓰라는 지시가 더 정확한 코드를 보장하지 않는다는 대규모 실험이 개발자들의 경험담을 데이터로 끌어냈다. 26개 조건에서 에이전트는 형식 기법과 property-based testing을 자주 겉모양만 따라 했고, 기본 설정이 오히려 평균 이상이었다.
프런티어 AI 연구의 병목이 사람의 코딩 시간에서 에이전트 운영과 검증으로 매우 빠르게 이동하고 있다. OpenAI 연구조직은 8시간 근무일 기준 인간 노동 1일마다 코딩 에이전트 3.1일을 쓰며, 중앙값 연구자의 하루 추론 사용액은 API 가격 기준 600달러를 넘었다.
큰 파일 읽기와 상용구 생성을 값싼 모델에 넘기고 어려운 판단만 Claude Code에 남기는 실험이 주목받았다. 평균 읽기 토큰을 약 90% 줄였지만 편집·디버깅·설계 판단까지 위임하면 정확도가 무너진다는 경계도 또렷하다.
같은 개발 과제를 줘도 Claude Code·Codex·Cursor가 같은 외부 도구를 고른 비율은 42%뿐이었다. 1만6893회 실행 기록은 코딩 에이전트의 선택이 모델 이름뿐 아니라 검색 습관, 언어, 기존 저장소 구조에 크게 흔들린다는 사실을 보여준다.