Hacker Newsが注目した低コストなcode model改善策

2026-04-04、Hacker Newsでは「Simple self-distillation improves code generation」という投稿が345 points、106 commentsを集めた。そこで参照されていたのが、arXivのEmbarrassingly Simple Self-Distillation Improves Code Generationだ。問いはかなり率直で、verifier、stronger teacher model、reinforcement learningなしに、LLMは自分自身の生の出力だけでcode generationを改善できるのか、というものだ。著者らの答えはyesである。

simple self-distillation、つまりSSDは、base modelからtemperatureやtruncation設定を変えながら複数のcandidate solutionをsampleするところから始まる。その後、separate judge modelや高価なRL loopを追加するのではなく、より良いsampleを選別し、通常のsupervised fine-tuningで学習し直す。ポイントは、新しいreward modelを作ることではなく、modelの分布の中にすでに存在しているが、通常のdecodingでは安定して選ばれにくい有用な挙動を前面に出すことだ。

報告されている結果は小さくない。LiveCodeBench v6でQwen3-30B-Instructのpass@1が42.4%から55.3%に改善し、改善幅は難しい問題ほど大きいという。さらに効果はQwenとLlamaの4B、8B、30Bスケールにまたがり、instruct variantとthinking variantの両方で確認されたとしている。著者らはこれをprecision-exploration conflictとして説明する。探索に有利なdecoding設定はdistractor tokenも増やすが、SSDはprecisionが重要な場面では不要なtailを抑え、探索が重要な場面では有用なdiversityを残すようにtoken distributionを整える、という見立てだ。

実務上の意味はbenchmarkの改善だけではない。最近のcode model強化はverifier、tool use、reinforcement learningに寄ることが多かった。SSDは、より軽量なpost-training recipeにもまだ大きな余地があることを示している。もちろん、すべてのcode modelで同じように効くとは限らず、現実のsoftware engineeringはbenchmarkよりはるかに複雑だ。それでもHacker Newsが反応した理由は明確で、実装の複雑さが低く、多くのlabやopen-source teamがすぐ試せるタイプの改善策だからだ。