#local-llm

Microsoft가 주도한 공개 서한은 open-weight 모델 제한을 늦추자는 주장보다, 누가 서명했고 누가 빠졌는지 때문에 더 뜨거웠다.

5개의 RTX PRO 6000과 5090까지 동원한 실험은 로컬 LLM의 낭만보다 전력, VRAM, 예산의 현실을 더 선명하게 보여줬다.

LocalLLaMA의 관심은 “큰 모델”보다 6B active MoE가 실제로 얼마나 local에 가까운가에 모였다.

privacy와 비용을 잡으려는 개발자들이 Qwen 3.6 27B의 “충분히 쓸 만한” 지점을 파고들었다.

Alex Ellis의 글이 주목받은 이유는 local LLM을 benchmark 순위가 아니라 실제 사업과 agent 작업의 비용·통제 문제로 다뤘기 때문이다.

LocalLLaMA의 관심은 더 큰 모델 자체가 아니라 96-128GB unified memory에서 쓸 만한 “느리지만 큰” 실사용 모델 구간에 모였다.

Qwen3.6-27B를 vLLM에서 agent loop로 돌리던 사용자들이 멈춤과 streaming tool call 오류에 예민하게 반응했다. nightly parser 수정은 작지만, 로컬 에이전트 운용에서는 체감이 큰 문제를 겨냥한다.

HN의 관심은 “로컬 LLM이 프런티어 모델을 대체했나”보다 “어떤 작업부터 로컬로 내려올 수 있나”에 모였다. Gemma 4와 Qwen 계열을 둘러싼 체감 성능, 비용, 프라이버시 논의가 한꺼번에 붙었다.

LocalLLaMA의 관심은 속도 숫자보다 FP4, DFlash speculative decoding, commodity GPU 조합이 실제로 어디까지 재현될 수 있느냐에 모였다.

반응은 “브라우저만 있으면 로컬 LLM”이라는 편의성과 WebGPU·모델 정체성에 대한 정정 사이에서 갈렸다.

LocalLLaMA에서 Qwen3.6 35B A3B 모델이 업무 워크플로우를 바꿨다는 경험담이 화제입니다. Codex로 작업을 수행하고 과정을 스킬 문서로 기록해 pi 에이전트에 공급하는 방식으로 VPS 관리, PDF 변환 등을 자동화했습니다.

LocalLLaMA에서 RTX 4070 Super 12GB로 Qwen3.6 35B A3B 모델을 110 토큰/초로 구동하는 데 성공한 벤치마크가 공유됐습니다. MTP 지원과 CPU 오프로딩 최적화에 특화된 ik_llama.cpp 포크 덕분입니다.