DeepSeek 모멘트 13개월 후: 로컬 AI 실행은 얼마나 발전했나?
DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.
태그
#open-source 태그가 달린 기사
DeepSeek R1 모멘트 이후 13개월 동안 로컬 AI 실행 환경이 얼마나 빠르게 발전했는지를 보여주는 놀라운 비교: $6,000짜리 서버에서 겨우 5 TPS로 실행되던 프론티어 모델이, 이제 $600 미니 PC에서 같은 속도로 훨씬 강력한 모델을 실행할 수 있다.
Alibaba의 Qwen 팀이 Qwen 3.5 Small 모델을 출시했다. r/LocalLLaMA에서 1,000점 이상을 기록한 이 발표는 고성능 소형 모델에 대한 커뮤니티의 높은 관심을 반영한다.
개발자가 운영체제와 커널 없이 UEFI 부트 서비스 모드에서 직접 LLM 추론을 실행하는 베어메탈 AI 시스템을 구현했습니다. 토크나이저부터 추론 엔진까지 순수 C로 작성된 1,000줄짜리 UEFI 애플리케이션입니다.
r/LocalLLaMA 커뮤니티에서 Qwen 3.5-35B-A3B 모델이 GPT-OSS-120B보다 뛰어난 성능을 보이면서도 크기는 1/3에 불과하다는 평가가 높은 공감을 얻고 있습니다.
Hacker News에서 주목받은 Context Mode는 Claude Code 도구 출력의 컨텍스트 사용량을 315 KB에서 5.4 KB로 줄였다고 보고했다.
구글이 알파벳 'Other Bets' 소속의 로봇 소프트웨어 자회사 Intrinsic을 구글 본사로 통합했다. Gemini AI와 DeepMind를 결합해 산업용 로봇을 위한 공통 소프트웨어 플랫폼을 구축하겠다는 구상이다.
r/LocalLLaMA의 게시물은 144M 규모 Spiking Neural Network 언어모델을 FineWeb-Edu로 from scratch 학습했다는 실험 결과를 공유했다. 작성자는 97-98% inference sparsity, STDP 기반 online learning, GPT-2 Small 대비 주제 유지 특성, 그리고 아직 높은 loss(4.5) 등 한계를 동시에 공개했다.
NVIDIA가 2026-02-24 공개한 의료·생명과학 설문에서 AI 적극 활용 비율은 70%로 2024년 63% 대비 상승했다. 85%는 매출 증가, 80%는 비용 절감 효과를 보고했으며, 예산 확대 응답도 85%에 달했다.
Meta는 2026년 2월 9일, Linux Foundation이 수행한 캐나다 보고서를 통해 생성형 AI가 노동 생산성을 8% 높이고 5년간 3만5천개 이상의 신규 역할을 만들 수 있다고 밝혔다. 보고서는 2030년 연 1,800억달러, 2035년 GDP의 최대 9% 기여 가능성을 제시했다.
r/LocalLLaMA 커뮤니티에서 Alibaba의 Qwen 공식 채팅 인터페이스에서 Qwen3.5 모델이 목격됐다는 제보가 올라왔다. Qwen3 시리즈 이후 다음 세대 LLM 출시가 임박했다는 신호로 해석되고 있다.
Guide Labs가 생성하는 모든 토큰을 입력 문맥, 개념, 훈련 데이터로 추적할 수 있는 최초의 '본질적으로 해석 가능한' 언어 모델 Steerling-8B를 출시했습니다. 1.35조 토큰으로 훈련되었습니다.
2016 MacBook Pro에 FreeBSD를 설치한 개발자가 Broadcom BCM4350 Wi-Fi 칩의 네이티브 드라이버가 없자 Claude Code를 활용해 Linux brcmfmac 드라이버를 FreeBSD용으로 포팅하는 데 성공했습니다.