Hacker Newsが注目した Nanocode、約200ドルで Claude Code 風 model を訓練する JAX・TPU blueprint

Hacker NewsはNanocodeを、hyperscaler級の予算なしでもClaude Code風のcoding model pipelineを追体験できる珍しい設計図として取り上げた。READMEによれば、このprojectはtokenizer training、pretraining、synthetic data generation、agentic supervised fine-tuning、Constitutional AIベースのalignment、DPOまでをpure JAXでまとめたend-to-end libraryで、主なtargetはTPU環境だ。

HNで特に目立ったのはeconomicsである。READMEは1.3B parameterのnanocode-d24をTPU v6e-8で約9.3時間、約200ドルで再現できると説明している。さらに小さいd20は477M parameterで約34ドル、d12は135M parameterで約3ドルだという。consumer laptop向けの数字ではないが、「big labしか試せない」から「infraを扱える小さなteamでも本格的なexperimentができる」へ会話を動かすには十分な数字だ。

このrepositoryが面白いのは、base model trainingだけで終わらない点だ。coding rollout、tool use、long-context scenario、preference optimization、CLI agentまで含まれており、複数のcoding instruction datasetを取り込んだうえでcritiqueやrestyleの段階を加え、単なるnext-token predictionではなくagent-like behaviorへつなげようとしている。

もちろんcaveatも明確だ。author自身が、NanocodeはTPU向けに最適化されており、Google Cloudの設定、TPU VMへのSSH、JAXのtuningを前提にしていると説明している。one-click productではなくresearch-grade workflowだ。それでも価値があるのは、APIの背後に隠れたblack boxではなく、coding modelを訓練・評価・整列させる実際のmoving pieceを見せてくれるからだ。

元のHNスレッドはnews.ycombinator.com/item?id=47649742、実装はNanocode repositoryで読める。「open agent training」が実務ではどんな形になるのかを知りたい人にとって、いまcommunityに出ている中でもかなり具体的なblueprintの一つだ。