#on-device-ai

Show HN에 올라온 Parlor는 브라우저의 음성·카메라 입력을 Gemma 4 E2B와 Kokoro로 처리해 로컬에서 바로 음성 응답을 돌려준다. Apple M3 Pro 기준 2.5~3.0초 수준의 end-to-end latency를 공개한 점이 눈에 띈다.

LocalLLaMA에 올라온 PokeClaw는 LiteRT-LM 기반으로 Gemma 4를 Android 기기에서 로컬 실행하고, tap·swipe·text input·app 실행·message 전송·auto reply 등을 cloud 없이 처리하는 open-source mobile agent prototype다.

Launch HN 스레드는 RunAnywhere의 MetalRT와 RCLI를 끌어올리며, Apple Silicon에서 STT·LLM·TTS를 클라우드 없이 엮는 저지연 음성 AI 파이프라인에 관심을 모았다.

r/LocalLLaMA에서 주목받은 VoiceShelf는 Kokoro TTS를 이용해 EPUB 책을 Android device에서 완전히 offline 음성으로 바꾸는 app이다. 이 프로젝트는 mobile inference에서 throughput, APK size, thermal behavior가 실제 product성에 어떤 영향을 주는지 잘 보여 준다.

Show HN에 올라온 Off Grid는 Android/iOS에서 채팅, 이미지 생성, 비전, 음성 인식을 클라우드 없이 온디바이스로 실행하는 오픈소스 앱이다.