Hacker News、browser上でlocal AIの適合性を計算する CanIRun.ai に注目

Hacker NewsでCanIRun.aiが注目された理由ははっきりしている。local AIを使いたい人が最初にぶつかるのは「どのmodelが良いか」よりも、「自分のmachineで実際にどのmodelが動くのか」という問題だからだ。このサイトはbrowser内でhardwareを検出し、その上でmodelを余裕あり、ぎりぎり、実質的に厳しいという形で並べる。leaderboardというより、実機向けのsizing toolに近い。

面白いのは、detectionの仕組みをかなり明示している点だ。Whyページによれば、処理はすべてclient-sideで行われる。WebGLでGPU renderer stringを読み、browserが対応していればWebGPUでadapter情報を追加取得し、navigator APIでCPU core数とRAMを推定する。短いCPU benchmarkも走らせ、hardwareデータはserverへ送らないと説明している。local model向けの道具として、このprivacy方針は推定器そのものと同じくらい重要だ。

Docsを見ると、rankingの前提も分かる。modelの適合性は主にVRAMとmemory bandwidthで決まり、Q4_K_MやQ6_Kのようなquantizationによって必要memoryが変わる。scoreは推定tokens per second、memory headroom、そして小さめのquality bonusを合わせて計算される。つまりCanIRun.aiは、speed・size・qualityが絡むlocal LLMの複雑なtradeoffを、普通の利用者が判断しやすい一つの数値に変えようとしている。

HNの反応は好意的だったが、同時にlocal inference利用者がどれだけcalibrationを重視しているかも見えた。コメントではRTX Pro 6000や新しいNvidia workstation系など、足りないhardware項目が指摘されたほか、Apple Siliconのより広いmemory構成も求められた。自分の環境ではtoken-per-second推定がかなり保守的だという声もあり、modelを先に選んでから適したmachineを比較する逆引き機能や、llama.cppやOllamaの実測benchmarkを重ねて見せてほしいという要望も出ていた。

この反応は自然だ。local AIの実用情報は今もReddit、Discord、model card、benchmark spreadsheetに散らばっている。browserベースの互換性ツールに価値があるのは、漠然としたhardware不安を具体的なshortlistに変えてくれるからだ。ただし有用であり続けるには、device databaseと速度推定が、変化の速いhardwareとmodelの生態系に追随し続ける必要がある。原文: CanIRun.ai · Why · Docs. コミュニティ議論: Hacker News.