Stanford CS336, language model을 밑바닥부터 다시 배우는 코스

Stanford의 CS336: Language Modeling from Scratch가 다시 주목받는 이유는 단순한 강의 목록이 아니다. 코스 설명은 tokenization, architecture, optimization, scaling, data, alignment까지 현대 language model을 직접 만들고 이해하는 흐름을 한 학기 안에 묶는다. Spring 2026 페이지에는 Tatsunori Hashimoto와 Percy Liang이 강사진으로 올라와 있고, 2024년과 2025년 이전 개설분도 함께 이어진다.

요즘 LLM 학습 자료는 “API로 무엇을 만들 수 있나”에 치우치기 쉽다. CS336은 반대로 모델 내부의 구성 요소를 구현하고 훈련해보는 쪽에 무게를 둔다. 그래서 관심은 강의 자체보다 학습 방식에 가깝다. tokenizer를 고르고, transformer 계열 architecture를 이해하고, scaling과 data 선택이 결과를 어떻게 바꾸는지 손으로 확인해야 한다.

커뮤니티 댓글은 난이도와 compute 비용을 파고들었다. 2025년 버전을 따라간 한 사용자는 첫 두 과제만 해도 많은 디버깅과 사고가 필요했다고 설명했고, 다른 사용자는 B200 같은 고가 GPU 안내가 입문자에게 필요한지 물었다. 반대로 강의가 low-compute 팁을 제공한다는 경험담도 나왔다. 즉 “큰 GPU가 없으면 못 배운다”와 “작게라도 직접 돌려야 배운다” 사이의 현실적인 긴장이 이 글을 밀어 올렸다.

CS336의 의미는 LLM 열풍 이후 교육의 기준선이 바뀌었다는 데 있다. 모델을 호출하는 능력과 모델을 설명할 수 있는 능력은 다르다. 이 코스는 후자를 요구한다. 빠르게 변하는 tool 사용법보다 오래 남는 것은 optimization, data mixture, evaluation 같은 기초 개념이며, 지금 커뮤니티가 다시 그런 자료를 찾는 배경도 여기에 있다.

Source: Stanford CS336, Hacker News discussion.