#rdma

Local LLMの関心は「動くか」から「小型のunified-memory機をどう一台のように束ねるか」へ移っている。このguideはFramework Strix Halo、Intel E810 RoCE v2、vLLM servingをつなぐ。

r/LocalLLaMAで話題になったDualPath論文は、KV-Cacheの読み込み経路を二重化して推論スループットを改善する手法を提示した。arXiv要約では、オフライン最大1.87倍、オンライン平均1.96倍の改善が報告されている。