LLM X/Twitter
Meta Muse Glimmer, 30B 에이전트 모델을 20GB 아래로 압축해 RTX 5090에서 3.1배 가속
30B 매개변수 에이전트 모델이 20GB 미만으로 줄어들면서 24GB급 소비자 장비에서도 로컬 실행이 가능해졌다. Meta는 DFlash가 RTX 5090의 디코딩 속도를 3.1배 높였다고 제시했다.
2분 소요 19 조회
태그
#local-ai
#local-ai 태그가 달린 기사
LLM 해커뉴스
LM Studio Bionic, local model agent가 노리는 데스크톱 작업대
LM Studio Bionic은 open model을 쓰는 agent workflow를 데스크톱으로 끌어오려는 시도다. HN의 관심은 coding 기능과 함께 local 실행, cloud 전환, closed-source 앱이라는 긴장에 모였다.
1분 소요 27 조회
LLM 해커뉴스
13년 된 Xeon에서 Gemma 4 26B, GPU 없이 5 tok/s
HN의 논점은 “느리지만 된다”가 아니라 비용과 제어권이었다. 오래된 dual Xeon E5-2690 v2가 ik_llama.cpp 패치로 Gemma 4 26B-A4B를 CPU-only로 돌리며 local inference의 현실선을 다시 그었다.
2분 소요 26 조회
LLM 해커뉴스
GLM-5.2를 느린 PC에서 돌리는 Colibri, Local AI의 병목은 GPU만이 아닌 이유
744B MoE 모델을 소비자용 PC에서 돌리겠다는 실험에 관심이 모였다. Colibri는 GLM-5.2의 활성 파라미터와 전문가 라우팅 구조를 이용해, 거대한 모델을 전부 RAM이나 GPU에 올리지 않는 쪽으로 설계를 잡았다.
1분 소요 27 조회
LLM 해커뉴스
로컬 AI를 실행할 권리, HN 논점은 규제가 아니라 통제권
534점까지 오른 논점은 단순한 캠페인이 아니라 로컬 LLM을 누가 허용하고 누가 막을 수 있느냐였다.
1분 소요 24 조회
LLM 해커뉴스
Strix Halo 두 대로 vLLM cluster, 관건은 100GbE RDMA 설정
로컬 LLM 관심은 이제 “돌아가나”에서 “두 노드를 어떻게 한 기계처럼 묶나”로 옮겨갔다. 이 가이드는 Framework Strix Halo 보드 두 대와 Intel E810 RoCE v2 구성을 vLLM serving까지 연결한다.
2분 소요 30 조회
AI 해커뉴스
“Open source AI must win”, Local AI 논쟁이 다시 뜨거운 이유
짧은 선언문이 크게 확산된 배경에는 폐쇄형 API 의존을 AI 인프라의 운영 리스크로 보는 시각이 있다.
1분 소요 30 조회
AI 레딧
LLM 밖의 AI 활용법, LocalLLaMA 관심이 모인 이유
LocalLLaMA의 관심은 “더 큰 챗봇”이 아니라 작고 정확한 모델로 향했다. YOLO, LightGBM, Parakeet, OCR처럼 매일 쓰는 좁은 AI가 오히려 비용과 신뢰성에서 강하다는 사례가 쏟아졌다.
2분 소요 34 조회
LLM 해커뉴스
Gemma 4 12B, encoder 없는 multimodal 구조에 모인 관심
댓글의 관심은 “encoder-free”라는 표현이 실제 아키텍처에서 무엇을 뜻하는지에 모였다.
1분 소요 39 조회
LLM 레딧
Qwen3.6-27B로 2주간 agent orchestration, 실행보다 계획에 강한 이유
LocalLLaMA의 관심은 “Claude 대체”보다 tool call 오류율 12%라는 구체적 한계에 모였다.
2분 소요 46 조회
LLM 해커뉴스
10년 된 Xeon으로 Gemma 4 구동, local AI의 병목을 다시 묻는 글
711점까지 오른 관심은 “GPU 없이 가능하다”보다 memory bandwidth와 inference 최적화의 현실에 쏠렸다.
2분 소요 43 조회
LLM
로컬 LLM의 두 번째 벽, QVAC TurboQuant가 KV cache를 5배 압축
QVAC SDK 0.12.0이 TurboQuant를 넣어 로컬 LLM의 KV cache를 최대 5배 줄인다. 8GB RTX 5060에서도 4B 모델의 262K context를 목표로 한다는 점이 온디바이스 AI의 실용성을 바꾼다.
1분 소요 35 조회