본문으로 건너뛰기

태그

#arxiv

#arxiv 태그가 달린 기사

RSS 피드
LLM 해커뉴스

MegaTrain, 단일 GPU에서 100B+ 파라미터 LLM 풀프리시전 학습을 노린 HN 화제 논문

MegaTrain은 parameters와 optimizer states를 host memory에 두고 layer를 GPU로 streaming하는 방식으로, 단일 GPU에서 100B+ 파라미터 LLM의 full precision 학습을 겨냥한다. 최근 Hacker News에서 이 논문이 주목받은 이유는 training bottleneck을 GPU 수량이 아니라 memory system 설계 문제로 다시 정의하기 때문이다.

2분 소요 41 조회
LLM 레딧

r/singularity, LM head가 학습 신호 대부분을 낭비한다고 보는 논문에 주목

한 Reddit 스레드는 arXiv 논문 2603.10145를 끌어올렸고, 이 논문은 language model의 output layer가 단순한 softmax expressivity 문제가 아니라 gradient norm의 95~99%를 억제하는 optimization bottleneck일 수 있다고 주장한다. 토론은 더 나은 head 설계가 LLM 학습 효율을 크게 바꿀 수 있는지에 집중됐다.

2분 소요 40 조회