1つのエージェントが複数モデルを使い分ける

複雑な計画は強いモデルへ、反復的な実行は小さく安いモデルへ送る仕組みが、NVIDIA NeMoの独立したオープンソースツールとして公開された。Switchyardはエージェント側のAPI形式を変えずに、リクエストを複数のプロバイダーとモデルへ振り分ける。長い処理の全工程で最上位モデルを使うコストを抑える狙いだ。

「エージェントの全工程が同じモデルを必要とするわけではない」— NVIDIA AI

元の投稿は、複雑な推論と計画にフロンティアモデルを使い、大量の特化実行をNemotron Lightningへ任せる構成を示した。投稿は160件のいいね、25件の再投稿、約1万3500回の表示を得た。重要なのは、Switchyardがモデルの推薦表ではなく、実際の通信経路に入るプロキシである点だ。

3種類のAPI形式を同じ経路で変換

公開リポジトリによると、OpenAI Chat Completions、OpenAI Responses、Anthropic Messagesを相互に変換する。Claude Code、Codex CLI、OpenClawは従来の呼び出し形式を維持したまま、vLLM、NVIDIA NIM、Ollama、OpenAI互換エンドポイントを利用できる。無作為分配、LLM分類器、会話中の信号を使う段階ルーター、弱いモデルの回答を判定して強いモデルへ引き上げる方式を備える。

運用指標にはリクエスト、エラー、遅延、トークン、ルーティングの負荷が含まれ、Prometheusで記録される。同じプロキシ上でA/Bテストや費用対性能の比較が可能だ。ライセンスはApache 2.0で、GitHubでは約1600スターを集めている。一方、文書はプレアルファの実験ソフトと明記し、1.0までにAPIやアルゴリズムが大きく変わる可能性を警告している。

次に見るべき点

価値を決めるのは、品質をどこまで保ちながら費用と遅延を減らせるかだ。単一の強いモデルを基準に、精度、トークン費用、判定時間を同時に示す公開ベンチマークが必要になる。障害時のバックエンド切り替え、長い会話での一貫性、ツール呼び出しとストリーミングの完全な変換も実運用の条件だ。

#nemo

NVIDIA Switchyard公開、エージェントの工程ごとに弱いモデルと強いモデルを切り替えるOSSプロキシ