#mixture-of-experts

RSS Feed
LLM Reddit Mar 12, 2026 1 min read

NVIDIAのNemotron 3 Superは、120B total / 12B activeのhybrid Mamba-Transformer MoE、native 1M-token context、そしてopen weights・datasets・recipesを前面に出している。LocalLLaMA discussionは、そのopennessとefficiency claimが実際のhome-lab deploymentに結びつくかを中心に見ていた。

© 2026 Insights. All rights reserved.