Hacker News가 주목한 Nanocode, 약 200달러로 Claude Code 스타일 model을 훈련하는 JAX·TPU 청사진

Hacker News는 Nanocode를 hyperscaler급 예산 없이도 Claude Code 스타일의 coding model pipeline을 따라가 볼 수 있는 드문 설계도로 끌어올렸다. README에 따르면 이 project는 tokenizer training, pretraining, synthetic data generation, agentic supervised fine-tuning, Constitutional AI 기반 alignment, DPO까지를 pure JAX로 묶은 end-to-end library이며, 기본 target은 TPU 환경이다.

HN에서 특히 눈에 띄는 지점은 economics다. README는 1.3B parameter 규모의 nanocode-d24를 TPU v6e-8에서 약 9.3시간, 약 200달러 수준으로 재현할 수 있다고 설명한다. 더 작은 configuration인 d20은 477M parameter에 약 34달러, d12는 135M parameter에 약 3달러 수준으로 제시된다. consumer laptop 실험은 아니지만, “이건 big lab만 할 수 있다”에서 “infra를 다룰 수 있는 작은 팀도 serious experiment를 해볼 수 있다”로 대화를 이동시키는 숫자다.

이 repository가 흥미로운 이유는 base model training에 멈추지 않기 때문이다. coding rollout, tool use, long-context scenario, preference optimization, CLI agent까지 들어 있고, 여러 coding instruction dataset을 가져온 뒤 critique와 restyle 단계를 추가해 agent-like behavior로 이어지는 pipeline을 만든다. 단순 next-token prediction이 아니라 coding agent를 만드는 과정을 가능한 한 드러내려는 시도에 가깝다.

물론 caveat도 분명하다. author는 Nanocode가 TPU에 최적화돼 있고, Google Cloud 설정과 TPU VM SSH, JAX tuning을 전제로 한다는 점을 숨기지 않는다. one-click product라기보다 research-grade workflow다. 하지만 바로 그 점 때문에 오히려 가치가 있다. API 뒤에 가려진 black box가 아니라, coding model을 훈련하고 평가하고 정렬하는 실제 moving piece를 보여 주기 때문이다.

원문 HN 토론은 news.ycombinator.com/item?id=47649742에 있고, 구현은 Nanocode repository에 정리돼 있다. “open agent training”이 실제로 어떤 모습인지 알고 싶은 사람에게 지금 community에 떠도는 가장 구체적인 blueprint 중 하나다.