#llamacpp

LocalLLaMAで注目されたのは実用的な数字だ。RDNA3環境でKV VRAMを47%減らすという報告は、CUDA外のlocal inference利用者に直結する。