#open-source

r/LocalLLaMA의 고득점 글은 llama-swap을 이용해 로컬 LLM 다중 모델 운영을 단순화한 경험을 공유한다. 단일 실행 파일, YAML 설정, systemd 자동 시작, 모델별 파라미터 필터링이 핵심 포인트로 제시됐다.

Google은 2026년 3월 6일 SpeciesNet의 글로벌 적용 사례를 공개했다. 이 오픈소스 모델은 카메라 트랩 이미지에서 약 2,500개 동물 범주를 식별하며, 여러 지역 현장 조직이 현지 데이터에 맞춰 확장 적용하고 있다.

r/LocalLLaMA에서 Whisper가 무음 구간에 텍스트를 생성하는 문제와 함께, Silero VAD·prompt history 차단·blocklist를 결합한 운영 대응법이 공유됐다.

r/LocalLLaMA에서 Qwen 세대별 최소 모델을 비교한 결과가 681점을 획득하며 화제가 됐습니다. Qwen 3.5의 9B 모델이 이전 세대 80B 모델을 여러 벤치마크에서 능가하고, 2B 모델이 7B급 성능을 보이는 등 세대별 개선이 놀라운 수준입니다.

Alibaba의 Qwen 팀이 Qwen 3.5 소형 모델 시리즈(0.8B~9B)를 공개했습니다. WebGPU로 브라우저에서도 실행 가능하며, 이전 세대 대비 벤치마크 성능이 대폭 향상되었습니다.

중국 AI 연구소 DeepSeek이 텍스트·이미지·동영상·오디오를 처리하는 1조 매개변수 멀티모달 모델 V4를 이번 주 공개할 예정이며, 화웨이 칩에 최적화돼 미국 GPU 의존도를 낮춘 점이 주목된다.

AI 코딩 자동화 도구 OpenClaw가 React를 제치고 GitHub 역사상 가장 빠른 속도로 성장해 최다 스타 소프트웨어 프로젝트가 됐다. 스타의 진위성에 대한 논의도 함께 불거졌다.

오픈소스 도구 llmfit이 Hacker News에서 주목을 받고 있다. 사용자의 RAM, CPU, GPU 사양을 분석해 최적의 LLM 모델을 자동으로 선택하고 구성해주는 유틸리티로, 로컬 LLM 실행의 진입 장벽을 크게 낮춘다.

DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.

Alibaba의 Qwen 팀이 Qwen 3.5 Small 모델을 출시했다. r/LocalLLaMA에서 1,000점 이상을 기록한 이 발표는 고성능 소형 모델에 대한 커뮤니티의 높은 관심을 반영한다.

개발자가 운영체제와 커널 없이 UEFI 부트 서비스 모드에서 직접 LLM 추론을 실행하는 베어메탈 AI 시스템을 구현했습니다. 토크나이저부터 추론 엔진까지 순수 C로 작성된 1,000줄짜리 UEFI 애플리케이션입니다.

r/LocalLLaMA 커뮤니티에서 Qwen 3.5-35B-A3B 모델이 GPT-OSS-120B보다 뛰어난 성능을 보이면서도 크기는 1/3에 불과하다는 평가가 높은 공감을 얻고 있습니다.