#inference

Hacker Newsで注目された投稿は、AnthropicとOpenAIのfast modeを比較し、LLMの体感速度を決める要因がモデル性能だけでなく推論基盤設計にあることを示した。

r/LocalLLaMAで注目された投稿は、llama.cpp PR #19375のマージを共有し、Qwen3Next推論の速度向上を検証した。PR本文のベンチマークとコミュニティ計測の双方で、copy削減によるt/s改善が確認されている。

r/LocalLLaMAで注目された投稿は、llama.cpp PR #19375のマージを共有し、Qwen3Next推論の速度向上を検証した。PR本文のベンチマークとコミュニティ計測の双方で、copy削減によるt/s改善が確認されている。

NVIDIAが次世代AIプラットフォームRubinを発表。Blackwell比で推論トークンコスト10倍削減、MoEモデル訓練GPU数4倍削減を達成し、2026年下半期リリース予定。