#on-device-ai

27B급 모델을 3.9GB 1-bit 가중치로 줄였다는 주장은 온디바이스 AI의 기준선을 다시 묻는다. RunAnywhere는 자체 평가에서 전체 정밀도 품질의 약 90%를 보존하고 2-bit 버전보다 절반 이하 크기라고 밝혔다.

Apple이 수치를 공개하지 않았던 SpeechAnalyzer를 같은 장비와 같은 데이터로 재본 결과가 HN에서 관심을 모았다. 핵심은 새 API가 기존 SFSpeechRecognizer뿐 아니라 Whisper Small보다도 낮은 오류율을 냈다는 점이다.

Google의 새 on-device 최적화는 모델을 다시 학습하지 않고도 속도를 끌어올리는 방식이다. Pixel 9·10의 Gemini Nano v3에 frozen Multi-Token Prediction을 붙여 token 생성 50% 이상, standalone drafter 대비 130MB 절감을 제시했다.

Show HN에 올라온 Parlor는 브라우저의 음성·카메라 입력을 Gemma 4 E2B와 Kokoro로 처리해 로컬에서 바로 음성 응답을 돌려준다. Apple M3 Pro 기준 2.5~3.0초 수준의 end-to-end latency를 공개한 점이 눈에 띈다.

LocalLLaMA에 올라온 PokeClaw는 LiteRT-LM 기반으로 Gemma 4를 Android 기기에서 로컬 실행하고, tap·swipe·text input·app 실행·message 전송·auto reply 등을 cloud 없이 처리하는 open-source mobile agent prototype다.

Launch HN 스레드는 RunAnywhere의 MetalRT와 RCLI를 끌어올리며, Apple Silicon에서 STT·LLM·TTS를 클라우드 없이 엮는 저지연 음성 AI 파이프라인에 관심을 모았다.

r/LocalLLaMA에서 주목받은 VoiceShelf는 Kokoro TTS를 이용해 EPUB 책을 Android device에서 완전히 offline 음성으로 바꾸는 app이다. 이 프로젝트는 mobile inference에서 throughput, APK size, thermal behavior가 실제 product성에 어떤 영향을 주는지 잘 보여 준다.

Show HN에 올라온 Off Grid는 Android/iOS에서 채팅, 이미지 생성, 비전, 음성 인식을 클라우드 없이 온디바이스로 실행하는 오픈소스 앱이다.