LLM 해커뉴스
Hacker News가 주목한 Hypura, Mac에서 용량 초과 LLM을 계층 스케줄링으로 구동
Hacker News가 주목한 Hypura는 Apple Silicon에서 GPU·RAM·NVMe를 함께 스케줄링해 메모리를 넘는 LLM도 Mac에서 실행 가능하게 하려는 로컬 inference 프로젝트다.
2분 소요 40 조회
태그
#nvme
#nvme 태그가 달린 기사
LLM 해커뉴스
NVMe-to-GPU로 RTX 3090 단일 GPU에서 Llama 3.1 70B 실행
CPU RAM을 우회하고 NVMe 저장장치에서 GPU로 직접 가중치를 스트리밍하는 방식으로, RTX 3090 단일 소비자용 GPU에서 700억 파라미터 Llama 3.1 모델을 실행하는 오픈소스 프로젝트가 공개됐습니다.
1분 소요 40 조회