DeepSeek 모멘트 13개월 후: 로컬 AI 실행은 얼마나 발전했나?
DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.
태그
#qwen 태그가 달린 기사
DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.
Alibaba의 Qwen 팀이 Qwen 3.5 Small 모델을 출시했다. r/LocalLLaMA에서 1,000점 이상을 기록한 이 발표는 고성능 소형 모델에 대한 커뮤니티의 높은 관심을 반영한다.
r/LocalLLaMA 커뮤니티에서 Qwen 3.5-35B-A3B 모델이 GPT-OSS-120B보다 뛰어난 성능을 보이면서도 크기는 1/3에 불과하다는 평가가 높은 공감을 얻고 있습니다.
r/LocalLLaMA 고득점 스레드에서 Unsloth의 Qwen3.5-35B-A3B Dynamic GGUF 업데이트가 공유되며, KLD/PPL 지표와 실제 다운스트림 검증 필요성이 함께 제기됐다.
높은 반응을 얻은 LocalLLaMA 후속 실험 글은 Qwen3.5-35B-A3B를 RTX 5080 환경에서 Q4_K_M, KV q8_0, 배치 플래그 없는 --fit 구성으로 운용할 때 가장 실용적인 결과를 제시했다.
r/LocalLLaMA에서 Qwen3.5-122B-A10B 공개 링크가 빠르게 확산되며, GGUF 배포 시점과 양자화 효율, 실사용 처리량이 주요 화두가 됐다. 모델 카드 기준으로는 122B total / 10B activated MoE 구조, Apache-2.0 라이선스, 262,144 토큰 기본 컨텍스트가 제시됐다.
r/LocalLLaMA에서 Qwen3.5-35B-A3B를 단일 RTX 3090 환경으로 테스트한 사례가 큰 반응을 얻었다. 작성자는 100 tokens/s 이상과 실전 코딩 과제 통과를 보고했지만, 댓글에서는 툴 사용 안정성·하드웨어 편차·프롬프트 구성 변수에 따라 결과가 크게 달라진다는 의견도 함께 제기됐다.
LocalLLaMA 커뮤니티에서 Qwen3.5-35B-A3B 모델 카드가 빠르게 확산됐다. MoE 구조, 긴 context, 다양한 serving 프레임워크 호환성이 핵심 포인트로 언급된다.
r/LocalLLaMA 커뮤니티에서 Alibaba의 Qwen 공식 채팅 인터페이스에서 Qwen3.5 모델이 목격됐다는 제보가 올라왔다. Qwen3 시리즈 이후 다음 세대 LLM 출시가 임박했다는 신호로 해석되고 있다.
Qwen 연구팀이 GPQA와 HLE(Humanity's Last Exam) 벤치마크 데이터셋의 품질에 심각한 문제가 있음을 공식 논문을 통해 확인했습니다. OCR 오류, 잘못된 정답, 검증 불가능한 문항들이 포함돼 있어 현재 AI 모델 평가의 신뢰성에 의문이 제기되고 있습니다.
r/LocalLLaMA의 Qwen3.5 릴리스 글은 점수 123, 댓글 13으로 빠르게 확산되며 오픈 웨이트 대형 모델 수요를 다시 확인시켰습니다. 링크된 모델 카드에는 397B total, 17B activated, 262,144 native context 등 구체 스펙이 공개됐습니다.
llama.cpp에 Alibaba의 Qwen3.5 모델 시리즈 지원이 추가되었습니다. Dense와 MoE(Mixture-of-Experts) 변형을 모두 지원하며, 사용자들은 최신 언어 모델을 로컬에서 실행할 수 있게 되었습니다. 흥미롭게도 이 구현은 Claude Opus 4.6의 도움으로 생성되었습니다.