짧은 프롬프트를 넘어선 LLM 평가

LLM의 시각·코딩 능력 평가는 더 이상 단문 지시로 SVG 하나를 만드는 수준에 머물기 어렵다. Andrej Karpathy는 2026년 8월 2일 X에서 Opus 5에 소설 첫 문단과 “1M token budget (~$10)”을 주고 Three.js 렌더링을 요구한 실험을 공유했다. 결과는 약 2시간 실행과 5,500줄 코드였다. 그는 완성물이 투박하지만, 모델이 좌표계와 polygon asset, animation code를 직접 배치했다는 점이 중요하다고 봤다.

Karpathy는 대형 신경망 훈련과 교육 콘텐츠로 영향력이 큰 연구자이며, 최근에는 모델 능력의 질적 변화를 설명하는 예시를 자주 제시해 왔다. 이 트윗도 새 제품 출시가 아니라 평가 방식에 대한 신호다. 모델이 길고 값싼 작업 시간을 써서 사람이 굳이 만들지 않을 초맞춤형 결과물을 만들 수 있다면, 생성형 AI의 활용 단위는 문서나 이미지에서 임시 세계와 게임 장면으로 넓어진다.

동시에 그는 약점을 분명히 지적했다. 게임과 월드 생성은 모델이 자신의 결과물을 직접 보고 플레이하며 검사해야 하는 영역인데, 현재 LLM은 비디오를 효율적으로 인지하거나 게임 안에서 행동하는 능력이 부족하다. Opus 5도 여러 시점의 스크린샷을 천천히 확인하며 수정했고, 그 과정에서 어색한 결과를 남겼다고 설명했다.

다음 관전점은 두 가지다. 첫째, 장시간 코드 생성 평가가 단순 데모를 넘어 재현 가능한 benchmark로 정리될 수 있는가. 둘째, 모델이 비디오와 상호작용 환경을 원생적으로 검사하고 수정하는 루프를 얼마나 빨리 갖추는가. 그런 루프가 없으면 5,500줄을 쓰는 능력은 있어도 완성도를 스스로 끌어올리기는 어렵다. 원문 트윗은 X에서 볼 수 있다.

#opus-5

Opus 5, 1M 토큰 예산으로 5,500줄 Three.js 장면 생성한 실험