Hacker News에 올라온 내용

Show HN 게시글에서 Off Grid라는 모바일 AI 앱이 소개됐다. 이 글은 크롤링 시점 기준 119점, 댓글 64개를 기록했다. 프로젝트는 GitHub에 MIT 라이선스로 공개되어 있으며, 단순 챗봇이 아니라 온디바이스 AI 기능을 하나의 앱으로 묶는 구조를 강조한다.

텍스트 외 기능까지 포함한 구성

README 기준으로 Off Grid는 텍스트 생성, 이미지 생성, 비전 분석, 음성 전사, 문서 기반 대화를 한 앱에서 제공한다. 텍스트 모델로는 Qwen 3, Llama 3.2, Gemma 3, Phi-4 등을 제시하고, 사용자 .gguf 모델 로딩도 지원한다고 설명한다. 이미지 쪽은 온디바이스 Stable Diffusion과 함께 DreamShaper, Anything V5 등 다수 모델 사용을 안내한다.

공개된 성능 수치와 하드웨어 조건

저장소 문서에 따르면 텍스트 생성은 플래그십에서 15-30 tok/s, 중급기에서 5-15 tok/s 수준을 목표로 한다. 이미지 생성은 Snapdragon NPU 가속 시 약 5-10초, CPU 경로에서는 더 느린 시간을 제시한다. 비전 추론은 플래그십 기준 약 7초로 안내된다. 테스트 환경으로 Snapdragon 8 Gen 2/3 및 Apple A17 Pro가 언급되며, 실제 성능은 모델 크기와 양자화 설정에 따라 달라질 수 있다고 명시한다.

실무 관점의 의미

핵심 포인트는 데이터 경계다. 프로젝트는 프롬프트, 음성, 문서가 기기 밖으로 나가지 않는다고 강조한다. 이 방식이 실제 사용에서도 유지된다면, 네트워크 의존도 축소, 지연 예측 가능성, 데이터 로컬리티 요구가 있는 환경에서 활용도가 높아질 수 있다. 반면 모바일 연산 자원 한계는 여전히 존재하므로, 모델 선택과 양자화 전략이 사용자 경험을 좌우한다.

#offline-ai

Show HN: Off Grid, 모바일에서 텍스트·비전·이미지·음성 AI를 완전 오프라인으로 통합