NOOAはモデル選びではなくハーネス設計を問う

NVIDIAのNOOAは、LLMエージェントの性能をモデル名だけで語る見方に対する強い反例だ。NVIDIAの技術ブログによれば、NOOAはGPT-5.5との組み合わせでSWE-bench Verified 82.2%、CyberGym L1 86.8%を記録し、ARC-AGI-3ではGPT-5.6-solにより85.1% mean RHAEに到達した。

“We're contributing open models, weights, data and research to the Open Secure AI Alliance. This includes NVIDIA Labs Object-Oriented Agents (NOOA): open agent harness research in the form of an object-oriented framework that reaches state-of-the-art results across software engineering, cybersecurity and reasoning benchmarks.”

NVIDIA AIの元投稿は、NOOAをOpen Secure AI Allianceへの公開研究として位置づけている。@NVIDIAAIは通常、開発者向けのAIモデル、推論基盤、ベンチマーク、NVIDIA Developer Blogの更新を発信するアカウントであり、今回の投稿も消費者向けの話題より技術的な検証結果に重心がある。

NOOAの特徴は、エージェントを単一のPythonクラスとして表すことだ。メソッドは能力、フィールドは状態、docstringはプロンプト、型注釈は契約として機能する。本文がellipsisになっているメソッドは実行時にLLM駆動のループで補完され、通常のメソッドは決定的なPythonコードとして走る。これにより、エージェントはレビュー、テスト、トレース、バージョン管理の対象になりやすい。

性能だけでなくコスト面の主張も大きい。NVIDIAは、NOOAがSWE-bench Verifiedでタスクあたり29回のLLM呼び出し、約110万トークンで82.2%に到達したと説明する。比較対象のハーネスは、66回の呼び出しと220万トークンで78.2%、または29回と130万トークンで78.6%だった。差が再現されるなら、エージェントの実用性はプロンプト量ではなく、状態管理とツール結果の扱いで大きく変わる。

ブログは長期記憶にも踏み込む。記録は人間が読めるSQLiteファイルに保存され、型、重要度、タグ、supportsやcontradictsといった関係を持つ。次に見るべき点は、公開コードと評価方法が外部の再現実験に耐えるかどうかだ。特にCyberGym L1の86.8%はネットワーク遮断と不正参照チェック付きという条件が重要であり、同条件で近い結果が出るかが評価の分かれ目になる。

#nooa

NVIDIAのNOOA、SWE-bench 82.2%とCyberGym 86.8%で示すエージェント設計軸