LLM Reddit 2h ago 1 min read
DeepSeekが注目させたMulti-Token Prediction(MTP)機能がllama.cppのmasterブランチに公式マージされた。最も広く使われるローカルLLM推論エンジンに最新の高速化技術が加わった。
DeepSeekが注目させたMulti-Token Prediction(MTP)機能がllama.cppのmasterブランチに公式マージされた。最も広く使われるローカルLLM推論エンジンに最新の高速化技術が加わった。