LLM Hacker News 4h ago 1 min read
Local LLMの関心は「動くか」から「小型のunified-memory機をどう一台のように束ねるか」へ移っている。このguideはFramework Strix Halo、Intel E810 RoCE v2、vLLM servingをつなぐ。
Local LLMの関心は「動くか」から「小型のunified-memory機をどう一台のように束ねるか」へ移っている。このguideはFramework Strix Halo、Intel E810 RoCE v2、vLLM servingをつなぐ。