LLM X/Twitter
Mobius, 지식·추론 분리로 7B 학습량 62.6% 줄이고 속도는 약 4배까지 끌어올려
지식 저장과 추론 연산을 분리한 Mobius가 7B Transformer와 비슷한 성능을 학습 데이터 62.6%로 달성했다. Qwen3.5-35B에서 이어 학습한 버전은 종단 간 추론 속도를 약 4배 높였다.
2분 소요 13 조회
태그
#llm-architecture
#llm-architecture 태그가 달린 기사
LLM 해커뉴스
Hacker News가 다시 짚은 long-context LLM의 KV cache 비용
Hacker News는 KV cache를 추상적 architecture 용어가 아니라 GPU memory 비용 문제로 설명한 Future Shock 글을 다시 끌어올렸다. 이 설명은 GPT-2에서 Llama 3, DeepSeek V3, Gemma 3, Mamba 계열까지 memory 설계가 어떻게 달라졌는지 한 흐름으로 보여 준다.
2분 소요 38 조회
LLM 레딧
r/MachineLearning이 띄운 Attention Residuals, Kimi가 PreNorm residual 병목을 다시 건드리다
Kimi Team의 AttnRes 논문은 PreNorm residual이 모든 이전 layer 출력을 고정 가중치로 더하면서 깊은 stack에서 정보 희석을 만든다고 주장한다. 해결책으로 layer 간 selective aggregation과 메모리 비용을 줄인 Block AttnRes를 제시한다.
2분 소요 43 조회