llama.cppのRDNA3向けFlash Attention、local LLMのVRAM制約に一手

LocalLLaMAに投稿されたllama.cpp向けFlash AttentionのRDNA3実験は、local LLMで避けにくいメモリ制約を扱っている。投稿タイトルでは、Vulkan f16 K基準と比べてKV VRAMを47%削減し、F16 K / q4_0 V構成でもKLD上の損失がほぼないとされている。Part 1として出された内容なので、最終的なベンチマークというより実験報告として読むのが自然だ。

重要なのは、local LLMの上限がモデル重みのサイズだけで決まらない点だ。量子化でモデル本体は小さくできても、長いcontextではKV cacheが急速にVRAMを使う。複数セッション、長いプロンプト、batching、agent的な反復実行が入ると、attention状態を保持するコストが実用上の壁になる。

RDNA3は、NVIDIA CUDA以外でlocal inferenceを進めたいユーザーにとって大きな対象だ。llama.cppがVulkanや各種backendを磨き続ける意味もそこにある。Flash Attention系の実装はattention計算のメモリ移動を減らし、KV quantizationはcontext保持の費用を下げる。両方が効けば、同じGPUでより長いcontextや大きめのモデルを試す余地が生まれる。

この投稿が示す価値は、すべてのGPU比較を決着させることではない。AMDデスクトップGPUでKV cacheがどこから支配的になるのか、llama.cppを調整する利用者が知りたい問いを具体的な数字に近づけている。