AI 해커뉴스
5년 된 스마트폰에서도 밀리초 추론, Desert Ant의 작은 온디바이스 모델 18종
모든 작업을 거대 모델 API로 보내지 말자는 구체적인 대안이 개발자들의 시선을 끌었다. Desert Ant Labs는 음성·영상·텍스트의 좁은 작업을 맡는 모델 18종과 Swift·Kotlin·JavaScript SDK를 공개했다.
2분 소요 1 조회
태그
#on-device-ai
#on-device-ai 태그가 달린 기사
AI 해커뉴스
125M piano autocomplete, iPhone에서 초당 108개 음표
좋은 모델보다 좋은 MIDI 표현이 먼저였다. 320점을 받은 프로젝트는 14번의 실험 끝에 125M transformer를 iPhone에서 실시간으로 연주시키며, 데이터 정제와 DPO가 크기보다 중요했던 과정을 공개했다.
2분 소요 9 조회
LLM 해커뉴스
14MB Needle2, 손목 위 agent의 가능성과 아직 위험한 오작동
14MB 모델이 스마트폰과 wearable에서 도구 호출을 처리한다는 점보다, 실제 명령에서 드러난 오작동이 더 생산적인 논점을 만들었다. Needle2는 micro-LLM의 가능성과 좁은 학습 분포의 한계를 함께 보여 준다.
2분 소요 15 조회
LLM 해커뉴스
Swiftlet, iPhone에서 35B Qwen을 2.5GB RAM으로 돌리는 방식
관심은 “큰 모델을 줄이는 법”보다 MoE expert를 저장장치에서 스트리밍해 소비자 기기에서 버티게 만드는 구조에 모였다.
1분 소요 18 조회
LLM X/Twitter
27B 모델이 3.9GB로 축소, 스마트폰 온디바이스 추론 경쟁 가열
27B급 모델을 3.9GB 1-bit 가중치로 줄였다는 주장은 온디바이스 AI의 기준선을 다시 묻는다. RunAnywhere는 자체 평가에서 전체 정밀도 품질의 약 90%를 보존하고 2-bit 버전보다 절반 이하 크기라고 밝혔다.
1분 소요 18 조회
AI 해커뉴스
Apple SpeechAnalyzer, 온디바이스 음성인식에서 Whisper Small 앞선 벤치마크
Apple이 수치를 공개하지 않았던 SpeechAnalyzer를 같은 장비와 같은 데이터로 재본 결과가 HN에서 관심을 모았다. 핵심은 새 API가 기존 SFSpeechRecognizer뿐 아니라 Whisper Small보다도 낮은 오류율을 냈다는 점이다.
1분 소요 25 조회
LLM
Pixel 9·10의 Gemini Nano, MTP로 token 생성 50% 이상 가속
Google의 새 on-device 최적화는 모델을 다시 학습하지 않고도 속도를 끌어올리는 방식이다. Pixel 9·10의 Gemini Nano v3에 frozen Multi-Token Prediction을 붙여 token 생성 50% 이상, standalone drafter 대비 130MB 절감을 제시했다.
1분 소요 30 조회
AI 해커뉴스
Parlor, Apple Silicon에서 돌아가는 실시간 멀티모달 음성 AI Show HN
Show HN에 올라온 Parlor는 브라우저의 음성·카메라 입력을 Gemma 4 E2B와 Kokoro로 처리해 로컬에서 바로 음성 응답을 돌려준다. Apple M3 Pro 기준 2.5~3.0초 수준의 end-to-end latency를 공개한 점이 눈에 띈다.
2분 소요 49 조회
LLM 레딧
LocalLLaMA가 주목한 PokeClaw, Android에서 Gemma 4를 완전 로컬로 돌리는 mobile agent
LocalLLaMA에 올라온 PokeClaw는 LiteRT-LM 기반으로 Gemma 4를 Android 기기에서 로컬 실행하고, tap·swipe·text input·app 실행·message 전송·auto reply 등을 cloud 없이 처리하는 open-source mobile agent prototype다.
2분 소요 53 조회
LLM 해커뉴스
Hacker News가 Apple Silicon용 온디바이스 음성 AI 스택을 밀어 올리다
Launch HN 스레드는 RunAnywhere의 MetalRT와 RCLI를 끌어올리며, Apple Silicon에서 STT·LLM·TTS를 클라우드 없이 엮는 저지연 음성 AI 파이프라인에 관심을 모았다.
2분 소요 42 조회
AI 레딧
r/LocalLLaMA: VoiceShelf, Android에서 Kokoro TTS로 EPUB audiobook를 offline 처리
r/LocalLLaMA에서 주목받은 VoiceShelf는 Kokoro TTS를 이용해 EPUB 책을 Android device에서 완전히 offline 음성으로 바꾸는 app이다. 이 프로젝트는 mobile inference에서 throughput, APK size, thermal behavior가 실제 product성에 어떤 영향을 주는지 잘 보여 준다.
2분 소요 35 조회
LLM 해커뉴스
Show HN: Off Grid, 모바일에서 텍스트·비전·이미지·음성 AI를 완전 오프라인으로 통합
Show HN에 올라온 Off Grid는 Android/iOS에서 채팅, 이미지 생성, 비전, 음성 인식을 클라우드 없이 온디바이스로 실행하는 오픈소스 앱이다.
1분 소요 41 조회