#ollama

오픈소스 도구 llmfit이 Hacker News에서 주목을 받고 있다. 사용자의 RAM, CPU, GPU 사양을 분석해 최적의 LLM 모델을 자동으로 선택하고 구성해주는 유틸리티로, 로컬 LLM 실행의 진입 장벽을 크게 낮춘다.

Ollama가 2월 22일 버전 0.17을 출시해 자체 추론 엔진을 도입했다. NVIDIA GPU에서 프롬프트 처리 최대 40%, 토큰 생성 18% 향상됐으며, 개선된 멀티-GPU 텐서 병렬 처리와 AMD RDNA 4 지원도 추가됐다.