태그

#vram-optimization

#vram-optimization 태그가 달린 기사

LLM 레딧

12GB VRAM으로 Qwen3.6 35B 모델 초당 80 토큰 달성

llama.cpp MTP 기능을 활용해 12GB VRAM GPU에서 Qwen3.6 35B A3B 모델을 초당 80토큰 이상, 128K 컨텍스트로 실행하는 설정이 공유됐다.

2026년 5월 10일 1분 소요 45

LLM 레딧

r/LocalLLaMA에서 Heretic 1.2 발표가 주목받았다. 게시글 기준으로 4-bit 로딩으로 VRAM 최대 70% 절감, MPOA 지원, VL 처리 확장, 자동 재개 기능이 핵심 업데이트다.

2026년 2월 15일 1분 소요 32