LLM
DeepSeek mHC 아키텍처, AI 모델 스케일링의 근본 문제 해결... 훈련 안정성 혁신
DeepSeek가 mHC(Manifold-Constrained Hyper-Connections) 아키텍처를 발표하며 트랜스포머의 훈련 불안정성 문제를 해결했다. 6-7% 연산 오버헤드만으로 안정적인 대규모 모델 훈련이 가능해졌다.
2분 소요 39 조회
태그
#training
#training 태그가 달린 기사
AI 레딧
Unsloth, MoE 모델 훈련 속도 12배 향상 및 메모리 35% 절감 달성
Unsloth가 맞춤형 Triton 커널을 통해 Mixture of Experts 모델 훈련을 12배 가속하고 VRAM 사용량을 35% 이상 줄이는 획기적인 최적화를 공개했다. 이제 20B 파라미터 모델도 15GB VRAM 미만에서 fine-tuning이 가능하다.
1분 소요 35 조회
AI 레딧
Unsloth: MoE 모델을 12배 빠르게, 30% 적은 메모리로 학습
Unsloth가 커스텀 Triton 커널과 수학 최적화를 통해 Mixture of Experts (MoE) 모델 학습을 12배 가속화하고 VRAM 사용량을 35% 이상 줄였습니다. RTX 3090 같은 소비자용 GPU에서도 대형 모델 fine-tuning이 가능합니다.
1분 소요 36 조회