Hacker News가 Hypura를 주목한 이유는 Apple Silicon에서 흔히 겪는 local inference 실패 양상을 정면으로 다루기 때문이다. 모델 파일은 디스크에 있지만, 실제 inference가 시작되면 메모리 한계를 넘어 시스템이 무너지는 문제다. Hypura는 모든 weight를 한 tier에 올려야 한다는 가정을 버리고, model tensor를 GPU memory, system RAM, NVMe에 나눠 배치하는 storage-tier-aware scheduler라고 자신을 설명한다.

repository README에 따르면 Hypura는 먼저 machine profile과 GGUF layout을 읽고, 어떤 tensor를 GPU에 상주시킬지, 무엇을 RAM으로 넘길지, 무엇을 NVMe에서 필요할 때마다 stream할지를 계산한다. norms와 embeddings는 매 token마다 접근되기 때문에 compute 가까이에 고정된다. MoE model에서는 scheduler가 router decision을 가로채 실제로 발화한 expert만 읽어오고, neuron cache는 token 간 temporal locality를 활용한다. dense model에서는 큰 FFN weight를 predictive prefetch와 함께 buffer를 통해 stream한다.

README는 31 GB Mixtral 8x7B를 32 GB Mac Mini에서 2.2 tok/s로 실행할 수 있다고 적고 있다.
또한 같은 메모리 등급에서 40 GB Llama 70B를 0.3 tok/s로 구동했다고 하며, vanilla llama.cpp는 여기서 OOM이 난다고 설명한다.
expert streaming 경로에서는 I/O를 75% 줄이고 warmup 이후 neuron-cache hit rate가 99.5%에 달한다고 주장한다.

핵심은 NVMe가 VRAM처럼 빨라졌다는 뜻이 아니다. Hypura의 논리는 model architecture를 이해하면 tiered scheduling이 충분히 가치 있다는 것이다. MoE sparsity 덕분에 매 token마다 실제로 뜨거운 weight는 일부에 불과하고, dense model 역시 상주시켰을 때 이득이 큰 component가 있다. storage를 치명적인 fallback이 아니라 cold tier로 다루면, “아예 안 뜸”을 “느리지만 실행됨”으로 바꿀 수 있다는 주장이다.

그래서 HN의 관심도 이해된다. Mac 기반 local LLM tooling은 raw GPU 성능보다 memory ceiling에 더 자주 막히고, Hypura는 그 ceiling을 scheduling 문제로 바꾸려는 비교적 선명한 시도다. repository가 Ollama-compatible server까지 제공한다는 점도, 단순 benchmark screenshot이 아니라 실제 tool ecosystem과의 interoperability를 의식하고 있음을 보여준다.

1차 출처: Hypura repository. 커뮤니티 출처: Hacker News 스레드.

#memory-scheduling

Hacker News가 주목한 Hypura, Mac에서 용량 초과 LLM을 계층 스케줄링으로 구동