#model-optimization

Hacker Newsで反応を集めた投稿はTogether AIのCDLM解説を共有した。記事は、trajectory-consistentなstep削減とexact block-wise KV cachingの組み合わせにより、拡散型言語モデルで最大14.5倍のレイテンシ改善を報告している。