#mixture-of-experts

DeepSeekがDeepSeek-V4-Pro（総パラメータ1.6兆、アクティブ49B）とV4-Flash（284B/13B）を公開した。両モデルはMITライセンスで100万トークンコンテキストに対応するMixture-of-Expertsモデル。V4-Proはこれまでで最大のオープンウェイトモデルとなり、価格はGPT-5.4やClaude Sonnet 4.6の半分以下だ。

LocalLLaMAでは、クラスタ向けの702B MoEモデルと軽量導入向けの10B MoEモデルを組み合わせたMITライセンスのGigaChat 3.1公開が注目を集めた。

Hacker Newsで注目を集めたFlash-MoEは、SSDストリーミングとMetalカーネルを使ってQwen3.5-397B-A17Bを48GB M3 MaxノートPCで対話可能な速度まで動かす手法を示した。

NVIDIAのNemotron 3 Superは、120B total / 12B activeのhybrid Mamba-Transformer MoE、native 1M-token context、そしてopen weights・datasets・recipesを前面に出している。LocalLLaMA discussionは、そのopennessとefficiency claimが実際のhome-lab deploymentに結びつくかを中心に見ていた。