#nvme

Hacker Newsが注目したHypuraは、Apple SiliconでGPU・RAM・NVMeをまたいでテンソルを配置し、メモリ超過のLLMをMac上で動かそうとするローカルinferenceプロジェクトだ。

CPU RAMを完全にバイパスし、NVMe SSDからGPUへ直接ウェイトをストリーミングすることで、単体の消費者向けGPU（RTX 3090）でLlama 3.1 70Bを動作させるオープンソースプロジェクト「ntransformer」が公開されました。