#prefill

Luce-OrgのオープンソースPFlashが128Kコンテキストでllama.cppに対して10倍のプリフィル高速化を実現。C++/CUDAのみで実装された投機的プリフィル手法で、RTX 3090での実測値を公開。