Chrome内の小さなGemini Nano、LocalLLaMAが実行条件を検証

Chromeに組み込まれたオンデバイスモデルを、拡張機能から手軽に使う試みがLocalLLaMAで注目された。投稿者は、Gemini Nano系の小型モデルをChrome内で呼び出し、llama.cppやvLLM、別途モデルファイルなしで要約やスペル確認に使えると説明した。

魅力は配布経路にある。ローカルLLMを動かすには、量子化形式を選び、重みをダウンロードし、ランタイムとハードウェア設定を合わせる必要がある。ブラウザAPIがその多くを隠せば、利用者は複雑な推論スタックを意識せずに小さな作業をローカルで処理できる。

コメントではすぐに条件が補足された。「GPUなし」という表現は正確ではない可能性がある。Chromeの内蔵AI APIは利用可能ならWebGPUを使うため、現代的なノートPCの内蔵GPUも推論を支える。また、Gemini NanoとGemmaを同一視すべきではないという指摘もあった。

こうした訂正は、この投稿の価値を下げるものではない。むしろブラウザネイティブなローカルAIの位置づけをはっきりさせる。従来のローカル推論より簡単だが、ランタイム、モデル形式、セッション上限、APIの可用性はChrome側が決める。

大きな示唆は、ローカルLLMの普及がMLツールからではなくブラウザから進む可能性だ。Chromeが小型のプライベートモデルを拡張機能やWebアプリに提供するなら、多くのユーザーにとってローカルAIはまずブラウザ機能として現れる。その代わり、何がどのように動いているかを細かく制御する余地は狭くなる。