2022년 12월부터 개발된 text-generation-webui가 'TextGen'이라는 이름으로 Windows·Linux·macOS를 지원하는 네이티브 데스크톱 앱으로 출시됐다. Electron 기반의 설치 불필요 앱으로, LM Studio와 동일한 방식이지만 완전 오픈소스다.

2026년 5월 14일 1분 소요 39

#textgen #local-llm #open-source

LLM 레딧

단종 Intel Optane으로 1조 파라미터 모델을 초당 4토큰에 구동

단종된 Intel Optane 영구 메모리를 중고 시장에서 구입해 768GB RAM 시스템을 구성하고, Kimi K2.5 1조 파라미터 모델을 로컬에서 초당 4토큰 이상으로 실행한 사례가 공개됐다.

2026년 5월 12일 1분 소요 44

#intel-optane #local-llm #llama-cpp

AI 레딧

NVIDIA, 30B·23B·12B 세 모델을 하나의 체크포인트에 담은 Star Elastic 공개

NVIDIA AI가 하나의 체크포인트에 30B, 23B, 12B 추론 모델을 담은 Star Elastic을 공개했다. 제로샷 슬라이싱으로 별도 다운로드 없이 모델 크기를 동적으로 조정할 수 있다.

2026년 5월 10일 1분 소요 33

#nvidia #star-elastic #llm

LLM 레딧

12GB VRAM으로 Qwen3.6 35B 모델 초당 80 토큰 달성

llama.cpp MTP 기능을 활용해 12GB VRAM GPU에서 Qwen3.6 35B A3B 모델을 초당 80토큰 이상, 128K 컨텍스트로 실행하는 설정이 공유됐다.

2026년 5월 10일 1분 소요 45

#local-llm #qwen #llama-cpp

LLM 레딧

Qwen 3.6 27B + MTP로 로컬 추론 속도 2.5배 향상, 48GB에서 262k 컨텍스트

llama.cpp의 새 MTP 지원 PR을 활용해 Qwen 3.6 27B의 추론 속도를 2.5배 높이는 방법이 공유됐다. 48GB 메모리에서 262,000 토큰 컨텍스트로 로컬 에이전틱 코딩이 가능해졌다.

2026년 5월 6일 1분 소요 48

#qwen #mtp #local-llm

AI 레딧

AMD Gorgon Halo, 192GB 통합 메모리로 로컬 AI 한계 밀어낸다

AMD Ryzen AI Max Pro 495(코드명 Gorgon Halo)가 192GB 통합 메모리를 탑재한 것으로 유출됐다. 기존 Strix Halo의 128GB에서 50% 늘어난 용량으로, 더 큰 AI 모델을 로컬에서 구동할 수 있게 된다.

2026년 5월 4일 1분 소요 49

#amd #ryzen-ai #hardware

LLM 레딧

llama.cpp, 멀티토큰 예측(MTP) 베타 진입

llama.cpp에 멀티토큰 예측(MTP) 지원이 베타로 진입했다. 현재 Qwen3.5 MTP를 지원하며, 텐서 병렬 처리와 함께 vLLM과의 성능 격차를 좁힐 것으로 기대된다.

2026년 5월 4일 1분 소요 42

#llama-cpp #mtp #local-llm