llama.cpp speculative checkpointing、LocalLLaMAはparameter探しに向かった

r/LocalLLaMAでllama.cpp speculative checkpointingのmergeが伸びたのは、抽象的な機能ではなく、今日そのままruntime knobsとして試せるからだ。投稿者はGitHub PR #19493を示し、promptによってはspeedupが出ない一方、coding promptsでは0%から50%程度の改善を見たと書いた。

共有されたparametersは具体的だ。--spec-type ngram-mod、--spec-ngram-size-n 24、--draft-min 48、--draft-max 64。ここで重要なのは、speculative decodingが万能のfast buttonではないことだ。boilerplate、variable names、predictable code structuresが繰り返されるworkloadではdraft acceptanceが上がりやすい。一方、one-off logicや長いreasoning chainsでは効きにくい。

mergeされたPRの説明も同じ方向を向いている。この変更はcheckpointsを使い、recurrent modulesでspeculative decodingを可能にするserver-side changeだ。部分的にacceptedされたdraftの後はcheckpointへ戻り、短いbatchを再実行する必要があるため、partial sequence removalほど速くはない。ただしquicksort promptsのように反復が多い例では、大きなspeedupが観察された。

community discussion noted that Qwen3.5やQwen3.6 usersにとってself-spec decodingをすぐ試せる点が大きかった。threadはDFlash、SYCL speedups、backend-specific PRsへ広がり、単一のmergeよりもllama.cpp全体のperformance cadenceを見ていた。

面白いのは、local LLM usersの会話がmodel shoppingからsystems operationへ寄っていることだ。model nameだけでなく、acceptance rate、draft length、checkpoint count、context behavior、workload repetitionまで含めて速度を語る段階に入っている。