태그

#cpu-inference

#cpu-inference 태그가 달린 기사

LLM 해커뉴스

13년 된 Xeon에서 Gemma 4 26B, GPU 없이 5 tok/s

HN의 논점은 “느리지만 된다”가 아니라 비용과 제어권이었다. 오래된 dual Xeon E5-2690 v2가 ik_llama.cpp 패치로 Gemma 4 26B-A4B를 CPU-only로 돌리며 local inference의 현실선을 다시 그었다.

2026년 7월 16일 2분 소요 25

LLM 해커뉴스

711점까지 오른 관심은 “GPU 없이 가능하다”보다 memory bandwidth와 inference 최적화의 현실에 쏠렸다.

2026년 6월 2일 2분 소요 43

LLM 해커뉴스

Hacker News는 Microsoft의 bitnet.cpp를 다시 끌어올리며, 새 100B checkpoint보다 1.58-bit inference framework와 CPU 전력 효율 개선에 더 큰 의미를 두는 반응을 보였다.

2026년 3월 11일 2분 소요 47