#architecture

DeepSeek가 mHC(Manifold-Constrained Hyper-Connections) 아키텍처를 발표하며 트랜스포머의 훈련 불안정성 문제를 해결했다. 6-7% 연산 오버헤드만으로 안정적인 대규모 모델 훈련이 가능해졌다.

DeepSeek가 Transformer 아키텍처의 근본적 안정성 문제를 해결하는 mHC 기법을 발표했습니다. 1조 파라미터급 모델 학습의 새 장을 열 것으로 기대됩니다.

DeepSeek가 2026년을 시작하며 Manifold-Constrained Hyper-Connections(mHC) 방법론을 발표했다. 분석가들은 이를 AI 모델 학습 및 스케일링 방식을 근본적으로 변화시킬 수 있는 획기적 돌파구로 평가한다.