LLM 레딧
모델보다 배관이 뜨겁다, LocalLLaMA가 DeepEP V2에 몰린 이유
LocalLLaMA가 반긴 건 또 하나의 성능표가 아니라, MoE 배관을 실제로 더 빠르게 돌릴 수 있는 공개 인프라였다. 댓글도 DeepSeek가 내부 성과를 묶어두지 않고 통신·커널 작업을 밖으로 내놓는 데 꽂혔다.
1분 소요 38 조회
태그
#moe
#moe 태그가 달린 기사
AI X/Twitter
Qwen3.6-35B-A3B, 35B MoE 오픈가중치와 3B 활성 파라미터·Apache 2.0 공개
중요한 점은 Alibaba가 multimodal coding model을 API 전용이 아니라 open weights로 풀었다는 데 있다. 트윗은 Qwen3.6-35B-A3B가 35B total parameters, 3B active parameters, Apache 2.0 license를 갖췄다고 적었고, 블로그는 SWE-bench Verified 73.4와 Terminal-Bench 2.0 51.5를 제시했다.
1분 소요 41 조회
LLM 해커뉴스
Qwen3.6-35B-A3B, HN이 주목한 건 3B active MoE의 코딩 성능이었다
HN이 먼저 본 포인트는 open weights였다. 35B MoE지만 active parameter가 3B인 모델이 실제 coding agent 일을 버틸 수 있느냐가 핵심이었다. Qwen은 Qwen3.5-35B-A3B 대비 큰 개선을 내세웠고, 댓글은 곧바로 GGUF 변환, Mac 메모리 한계, open model끼리만 비교한 benchmark 해석으로 옮겨갔다.
1분 소요 51 조회
LLM 레딧
VRAM에 자주 쓰는 expert만 올리자, LocalLLaMA가 본 27% 속도 향상
LocalLLaMA가 반응한 이유는 큰 MoE model을 작은 VRAM에서 굴릴 때 생기는 병목을 꽤 현실적인 방식으로 찔렀기 때문이다. 작성자는 Qwen3.5-122B-A10B에서 최근 token들이 자주 route한 expert를 VRAM cache에 올리는 llama.cpp fork를 실험했고, 같은 22GB대 VRAM 사용량에서 layer-based offload보다 token generation이 26.8% 빨랐다고 공유했다.
2분 소요 49 조회
LLM X/Twitter
Cursor, Blackwell용 warp decode 공개… MoE inference 1.84배 가속 주장
Cursor는 2026년 4월 6일 X에서 NVIDIA Blackwell GPUs용 MoE token generation path를 다시 설계했다고 밝혔다. 함께 공개한 engineering post에서 회사는 "warp decode"가 inference throughput을 1.84배 높이고 outputs를 FP32 reference에 1.4배 더 가깝게 만든다고 주장했다.
2분 소요 45 조회
LLM 레딧
LocalLLaMA가 본 NVIDIA gpt-oss-puzzle-88B, gpt-oss-120b를 더 싸게 서빙하려는 88B 재설계
2026년 3월 26일 NVIDIA의 `gpt-oss-puzzle-88B` 모델 카드를 링크한 r/LocalLLaMA 글은 크롤링 시점 기준 284 points와 105 comments를 기록했다. NVIDIA는 이 88B MoE 모델이 Puzzle post-training NAS 파이프라인으로 파라미터와 KV-cache 부담을 줄이면서도 reasoning 정확도를 부모 모델 수준으로 유지하거나 소폭 높인다고 설명한다.
2분 소요 53 조회
LLM 레딧
LocalLLaMA가 본 Mistral Small 4, Instruct·Reasoning·Devstral을 하나의 MoE로 접다
2026년 3월 16일 r/LocalLLaMA의 Mistral Small 4 글은 최신 사용 가능 크롤 기준 606 points와 232 comments를 기록했다. Mistral 모델 카드는 4 active expert, 256k context, 멀티모달 입력, 요청별 reasoning 전환을 갖춘 119B급 MoE를 설명한다.
2분 소요 50 조회
LLM 해커뉴스
Hacker News가 주목한 최신 LLM architecture 시각 레퍼런스
Sebastian Raschka의 LLM Architecture Gallery는 최근 open model 계열을 한 페이지의 비교 가능한 다이어그램으로 묶어 dense, MoE, hybrid design 차이를 빠르게 파악하게 해 준다고 HN에서 호응을 얻었다.
2분 소요 46 조회
LLM 레딧
Qwen 3.5-35B-A3B, GPT-OSS-120B 대체하는 최고 로컬 LLM으로 부상
r/LocalLLaMA 커뮤니티에서 Qwen 3.5-35B-A3B 모델이 GPT-OSS-120B보다 뛰어난 성능을 보이면서도 크기는 1/3에 불과하다는 평가가 높은 공감을 얻고 있습니다.
1분 소요 47 조회
LLM 레딧
r/LocalLLaMA 벤치마크: 단일 RTX 5080에서 80B MoE 프리필 3,324 tok/s를 보고한 <code>Krasis</code>
r/LocalLLaMA의 게시글(점수 180, 댓글 53)은 CPU/GPU 하이브리드 MoE runtime <code>Krasis</code>의 장문 벤치마크를 공유했다. 핵심 주장은 “GPU로 prefill, CPU로 decode” 분리를 통해 VRAM이 부족한 환경에서 긴 컨텍스트 응답 대기 시간을 줄일 수 있다는 점이다.
2분 소요 44 조회
LLM 레딧
r/LocalLLaMA 화제: Hugging Face의 Qwen3.5-35B-A3B 모델 카드 공개
LocalLLaMA 커뮤니티에서 Qwen3.5-35B-A3B 모델 카드가 빠르게 확산됐다. MoE 구조, 긴 context, 다양한 serving 프레임워크 호환성이 핵심 포인트로 언급된다.
2분 소요 53 조회
LLM 해커뉴스
HN 화제: Step 3.5 Flash, 고속 Agentic 추론을 겨냥한 Open-source 196B MoE 모델
Hacker News에서 높은 반응을 얻은 Step 3.5 Flash는 196B total parameter와 약 11B active parameter를 내세운 MoE foundation model로 소개됐으며, 256K context와 coding/agent benchmark 수치를 함께 공개했다.
2분 소요 41 조회