Hacker News가 포착한 저비용 코드 모델 개선 경로

2026-04-04, Hacker News에는 "Simple self-distillation improves code generation"라는 제출물이 올라와 345 points와 106 comments를 기록했다. 이 토론이 가리킨 것은 Embarrassingly Simple Self-Distillation Improves Code Generation라는 arXiv 논문이다. 질문은 단순하다. verifier, stronger teacher model, reinforcement learning 없이도 LLM이 자기 출력만으로 코드 생성 능력을 끌어올릴 수 있는가. 저자들은 가능하다고 답한다.

simple self-distillation, 즉 SSD는 기본 모델에서 temperature와 truncation 설정을 달리해 여러 candidate solution을 뽑는 것에서 시작한다. 그 다음 separate judge model이나 비싼 RL loop를 붙이는 대신, 더 나은 sample을 골라 일반적인 supervised fine-tuning으로 다시 학습한다. 핵심은 새 reward model을 만드는 것이 아니라, 모델 분포 안에 이미 존재하지만 기본 decoding에서는 안정적으로 나오지 않던 유용한 패턴을 더 자주 선택되도록 밀어주는 데 있다.

논문이 내세우는 결과는 충분히 크다. LiveCodeBench v6에서 Qwen3-30B-Instruct의 pass@1이 42.4%에서 55.3%로 올라간다고 보고하며, 이 이득은 더 어려운 문제에서 두드러진다. 또한 효과는 Qwen과 Llama 계열의 4B, 8B, 30B 모델, 그리고 instruct variant와 thinking variant 전반으로 일반화된다고 설명한다. 저자들은 이를 precision-exploration conflict로 해석한다. 탐색을 돕는 decoding 설정은 distractor token도 늘리는데, SSD는 precision이 중요한 문맥에서는 tail을 줄이고 exploration이 필요한 문맥에서는 diversity를 남기는 식으로 token distribution을 다시 빚는다는 것이다.

실무 관점에서 중요한 이유는 benchmark 숫자만이 아니다. 최근 code model 개선은 verifier, tool use, reinforcement learning에 크게 기대는 경우가 많았다. SSD는 더 가벼운 post-training recipe만으로도 의미 있는 개선이 가능할 수 있음을 시사한다. 물론 모든 code model에 동일한 효과가 난다고 단정할 수는 없고, 실제 software engineering은 benchmark보다 훨씬 넓다. 그래도 Hacker News가 이 논문에 반응한 이유는 분명하다. 구현 난도가 낮고 재현 비용도 비교적 작아서, 많은 팀이 빠르게 실험해볼 수 있는 아이디어이기 때문이다.