LLM 레딧
LocalLLaMA 화제: llama-swap으로 다중 모델 서빙을 단순화한 실전 운영기
r/LocalLLaMA의 고득점 글은 llama-swap을 이용해 로컬 LLM 다중 모델 운영을 단순화한 경험을 공유한다. 단일 실행 파일, YAML 설정, systemd 자동 시작, 모델별 파라미터 필터링이 핵심 포인트로 제시됐다.
1분 소요 41 조회
태그
#local-llm
#local-llm 태그가 달린 기사
LLM 레딧
Qwen 3.5 0.8B, WebGPU로 브라우저에서 로컬 실행 성공
Transformers.js와 WebGPU를 이용해 Qwen 3.5 0.8B 모델을 서버 없이 브라우저에서 완전히 실행하는 데모가 공개되어 r/LocalLLaMA에서 440점을 획득했습니다. 설치나 API 키 없이도 강력한 소형 LLM을 체험할 수 있습니다.
1분 소요 45 조회
LLM 레딧
DeepSeek 모멘트 13개월 후: 로컬 AI 실행은 얼마나 발전했나?
DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.
1분 소요 37 조회
LLM 레딧
Qwen 3.5 Small 출시: 로컬 AI의 새로운 기준
Alibaba의 Qwen 팀이 Qwen 3.5 Small 모델을 출시했다. r/LocalLLaMA에서 1,000점 이상을 기록한 이 발표는 고성능 소형 모델에 대한 커뮤니티의 높은 관심을 반영한다.
1분 소요 42 조회
LLM 레딧
Qwen 3.5-35B-A3B, GPT-OSS-120B 대체하는 최고 로컬 LLM으로 부상
r/LocalLLaMA 커뮤니티에서 Qwen 3.5-35B-A3B 모델이 GPT-OSS-120B보다 뛰어난 성능을 보이면서도 크기는 1/3에 불과하다는 평가가 높은 공감을 얻고 있습니다.
1분 소요 47 조회
LLM 레딧
LocalLLaMA, Qwen3.5-35B-A3B 에이전트 코딩 성능 공유: 100+ t/s 보고
r/LocalLLaMA에서 Qwen3.5-35B-A3B를 단일 RTX 3090 환경으로 테스트한 사례가 큰 반응을 얻었다. 작성자는 100 tokens/s 이상과 실전 코딩 과제 통과를 보고했지만, 댓글에서는 툴 사용 안정성·하드웨어 편차·프롬프트 구성 변수에 따라 결과가 크게 달라진다는 의견도 함께 제기됐다.
2분 소요 47 조회
LLM 레딧
Qwen 채팅에서 새로운 Qwen3.5 모델 포착 — Alibaba의 다음 LLM 출시 임박
r/LocalLLaMA 커뮤니티에서 Alibaba의 Qwen 공식 채팅 인터페이스에서 Qwen3.5 모델이 목격됐다는 제보가 올라왔다. Qwen3 시리즈 이후 다음 세대 LLM 출시가 임박했다는 신호로 해석되고 있다.
1분 소요 39 조회
LLM 레딧
Qwen3 TTS의 숨겨진 기능: 수학으로 목소리를 조작하는 보이스 임베딩
Qwen3의 TTS 모델이 목소리를 1024차원 벡터로 인코딩해 성별·음높이·감정을 수학적으로 조작하는 보이스 임베딩 기능을 지원합니다. 경량 독립형 모델로 추출돼 HuggingFace에 공개됐습니다.
1분 소요 40 조회
LLM 레딧
Reddit 반응: Qwen3.5-397B-A17B 공개에 LocalLLaMA 커뮤니티 즉시 집중
r/LocalLLaMA의 고득점 스레드는 Hugging Face에 공개된 Qwen3.5-397B-A17B를 빠르게 확산시켰고, 모델 카드의 397B/17B 구조와 최대 약 1M 토큰 확장 컨텍스트가 핵심 논점으로 부상했다.
1분 소요 44 조회
LLM 레딧
llama.cpp Qwen3Next 그래프 최적화 PR 병합, LocalLLaMA에서 추론 속도 개선 확인
r/LocalLLaMA 인기 글은 llama.cpp PR #19375 병합 소식을 공유하며 Qwen3Next 추론 성능 향상을 집중 조명했다. PR 설명과 커뮤니티 벤치마크 모두에서 불필요한 copy 감소에 따른 t/s 개선이 보고됐다.
1분 소요 47 조회
LLM 레딧
llama.cpp에 Qwen3.5 지원 병합: 최신 모델의 로컬 실행 가능
llama.cpp에 Alibaba의 Qwen3.5 모델 시리즈 지원이 추가되었습니다. Dense와 MoE(Mixture-of-Experts) 변형을 모두 지원하며, 사용자들은 최신 언어 모델을 로컬에서 실행할 수 있게 되었습니다. 흥미롭게도 이 구현은 Claude Opus 4.6의 도움으로 생성되었습니다.
1분 소요 23 조회
LLM 레딧
Qwen3-Coder-Next, 'Coder' 이름에 속지 마세요... 최고의 범용 로컬 LLM
Reddit LocalLLaMA 커뮤니티에서 Qwen3-Coder-Next가 코딩뿐만 아니라 일상 대화, 문제 해결, 심층 사고 등 범용 작업에서도 Gemini 수준의 경험을 제공하는 최초의 로컬 LLM으로 평가받고 있습니다. 프라이버시를 지키면서도 상용 모델 수준의 성능을 원하는 사용자들에게 새로운 대안이 되고 있습니다.
2분 소요 55 조회