LLM 해커뉴스
MegaTrain, 단일 GPU에서 100B+ 파라미터 LLM 풀프리시전 학습을 노린 HN 화제 논문
MegaTrain은 parameters와 optimizer states를 host memory에 두고 layer를 GPU로 streaming하는 방식으로, 단일 GPU에서 100B+ 파라미터 LLM의 full precision 학습을 겨냥한다. 최근 Hacker News에서 이 논문이 주목받은 이유는 training bottleneck을 GPU 수량이 아니라 memory system 설계 문제로 다시 정의하기 때문이다.
2분 소요 41 조회