#on-device-ai

Show HNに投稿されたParlorは、ブラウザの音声とカメラ入力をGemma 4 E2BとKokoroで処理し、ローカルで音声応答まで完結させる。Apple M3 Proで約2.5〜3.0秒のend-to-end latencyを示している点が印象的だ。

LocalLLaMA で話題になった PokeClaw は、LiteRT-LM 経由で Gemma 4 を Android 端末上にローカル実行し、tap、swipe、text input、app 起動、message 送信、auto reply を cloud なしで処理する open-source mobile agent prototype だ。

Launch HNスレッドはRunAnywhereのMetalRTとRCLIを押し上げ、Apple Silicon上でSTT・LLM・TTSをクラウドなしでつなぐ低遅延音声AIスタックに注目を集めた。

r/LocalLLaMAで注目されたVoiceShelfは、Kokoro TTSを使ってEPUBをAndroid device上で完全offlineの音声に変えるappだ。このprojectは、mobile inferenceにおけるthroughput、APK size、thermal behaviorが実用的なoffline AI productをどう左右するかをよく示している。

Show HNで紹介されたOff Gridは、Android/iOS上でチャット、画像生成、Vision、音声認識をクラウド送信なしで実行するオープンソースアプリだ。