LLM 해커뉴스
Swiftlet, iPhone에서 35B Qwen을 2.5GB RAM으로 돌리는 방식
관심은 “큰 모델을 줄이는 법”보다 MoE expert를 저장장치에서 스트리밍해 소비자 기기에서 버티게 만드는 구조에 모였다.
1분 소요 19 조회
태그
#swiftlet
#swiftlet 태그가 달린 기사
RSS 피드
태그
#swiftlet 태그가 달린 기사
관심은 “큰 모델을 줄이는 법”보다 MoE expert를 저장장치에서 스트리밍해 소비자 기기에서 버티게 만드는 구조에 모였다.