#ollama

オープンソースツール「llmfit」がHacker Newsで注目を集めている。ユーザーのRAM、CPU、GPUスペックを自動検出し、最適なLLMモデルとQuantizationレベルを推奨するCLIユーティリティで、ローカルAI実行の敷居を大幅に下げる。

Ollama 0.17が2月22日にリリース。llama.cppサーバーモードに代わる独自推論エンジンを導入し、NVIDIA GPUでプロンプト処理最大40%、トークン生成18%の高速化を実現。マルチGPUテンソル並列処理の改善とAMD RDNA 4サポートも追加。