Needle2は汎用chatbotを小さくしたものではない。スマートフォン、wearable、スマートホーム、ロボット上でtoolを選び、構造化されたargumentを作ることに集中した14MBのagentic modelだ。ネットワーク往復を減らし、ユーザーデータを端末内に置いたまま、日常的な操作をagent stackの最終層で処理する構想である。

Cactusはtool callingを広範な知識の暗記ではなく、検索と組み立ての問題として捉える。入力されたtool schemaから名前を選び、値を抽出し、所定のJSONを出す。消費者向け機器の操作とstructured extractionに絞った学習により、小さなサイズでも形式に沿った出力を作れる。ただし開発側の評価でも、学習分布から外れる企業APIやJava、JavaScriptのschemaでは差が広がる。容量が小さくても分布外問題は消えない。

公開demoはその限界を具体化した。「部屋を少し暖かくして」という依頼に冷房モードと65度を返したり、理解できない入力でfront doorのlockを勝手に呼び出したりする例が報告された。明るさや温度の単位を無視する試験もあった。chatbotなら奇妙な返答で済むが、thermostat、鍵、車、決済を操作する出力では、速い誤判断が物理的・金銭的な結果を生む。

現実的な配置条件も見えてくる。画面切り替えや音楽再生のように取り消しやすい仕事は、小型のlocal callerに向く。高リスクな操作にはallowlist、単位の正規化、confidence threshold、明示的な確認が必要だ。「どのtoolも呼ばない」を正常な出力として十分に学習させ、曖昧な依頼や複数段階の処理はrouterから大きなモデルへ送る設計も欠かせない。

議論では、14MBが実用上の最適点なのか、最小サイズを強調するための数字なのかという問いも出た。28MBや140MBへ増やして精度が大きく改善するなら、現代の端末ではそちらが合理的かもしれない。micro-LLMの評価にはbenchmarkだけでなく、RAM、消費電力、latency、棄権の質、誤ったtool callのコストを含める必要がある。

構造と評価の詳細はNeedle2のページで読める。Hacker Newsのスレッドにはdemoの失敗例とサイズのtrade-offが記録されている。次の焦点は14MBでtoolを呼べるかではなく、どの依頼をこの小さなagentに任せてよいかをsystem全体で判断できるかだ。

#micro-llm

14MBのNeedle2、腕時計で動くagentと危うい誤作動の境界