LLM Reddit Apr 10, 2026 2 min read
LocalLLaMA의 고득점 스레드는 llama.cpp에 merge된 PR #19378을 계기로 <code>--split-mode tensor</code> 기반 multi-GPU 실행이 더 현실적인 옵션이 됐다고 봤다. 다만 현재 성숙도는 CUDA 중심이며, ROCm은 돌아가도 layer split보다 느릴 수 있고 Vulkan은 성능과 안정성 모두 과제로 남아 있다.
LocalLLaMA의 고득점 스레드는 llama.cpp에 merge된 PR #19378을 계기로 <code>--split-mode tensor</code> 기반 multi-GPU 실행이 더 현실적인 옵션이 됐다고 봤다. 다만 현재 성숙도는 CUDA 중심이며, ROCm은 돌아가도 layer split보다 느릴 수 있고 Vulkan은 성능과 안정성 모두 과제로 남아 있다.