LLM Hacker News 1d ago 1 min read
Launch HN 스레드는 RunAnywhere의 MetalRT와 RCLI를 끌어올리며, Apple Silicon에서 STT·LLM·TTS를 클라우드 없이 엮는 저지연 음성 AI 파이프라인에 관심을 모았다.
Launch HN 스레드는 RunAnywhere의 MetalRT와 RCLI를 끌어올리며, Apple Silicon에서 STT·LLM·TTS를 클라우드 없이 엮는 저지연 음성 AI 파이프라인에 관심을 모았다.
r/LocalLLaMA에서 주목받은 VoiceShelf는 Kokoro TTS를 이용해 EPUB 책을 Android device에서 완전히 offline 음성으로 바꾸는 app이다. 이 프로젝트는 mobile inference에서 throughput, APK size, thermal behavior가 실제 product성에 어떤 영향을 주는지 잘 보여 준다.
Show HN에 올라온 Off Grid는 Android/iOS에서 채팅, 이미지 생성, 비전, 음성 인식을 클라우드 없이 온디바이스로 실행하는 오픈소스 앱이다.