Chrome Prompt API, HN이 바로 짚은 건 프라이버시보다 22GB

Chrome의 Prompt API는 설명만 들으면 누구나 한 번쯤 바라던 그림에 가깝다. 웹앱이 브라우저 안의 Gemini Nano에 자연어 요청을 보내고, 외부 API 키 없이 기기 안에서 처리한다. 페이지 검색, 기사 분류, 콘텐츠 필터, 연락처 추출, 일정 생성 같은 작업을 로컬에서 돌릴 수 있다는 얘기다. HN도 이 장점을 바로 이해했다. 프라이버시와 비용 통제가 앞에 서기 때문이다.

하지만 스레드의 중심은 금세 다른 숫자로 이동했다. Chrome 문서가 요구하는 조건이 만만치 않다. 데스크톱 환경만 지원하고, 운영체제 제약도 있다. 여기에 저장공간 22GB 이상, GPU 사용 시 4GB 초과 VRAM, CPU 경로도 16GB RAM과 4코어 이상, 모델 다운로드를 위한 무제한 또는 비과금 네트워크 조건이 붙는다. HN에서 가장 강하게 퍼진 반응도 여기서 나왔다. “우리 사이트를 쓰려면 디스크 22GB 비워두라”는 메시지를 누가 현실 제품에서 감당하겠느냐는 지적이다.

반대쪽 우려도 있었다. 브라우저 안에 이런 로컬 추론 기능이 생기면, 악성 스크립트가 방문자 PC의 토큰 생성 능력을 슬쩍 빌려갈 수 있는 것 아니냐는 걱정이다. 다만 긍정적인 반응도 적지 않았다. 실제로 작은 검색이나 분류 작업에는 이런 방식이 꽤 유용하다는 경험담이 나왔고, 서버 비용과 개인정보 전송을 동시에 줄일 수 있다는 점은 분명한 장점으로 읽혔다. HN은 이 API를 “브라우저 안의 저비용 Ollama”에 가까운 방향으로 받아들이는 분위기였다.

핵심은 브라우저 AI가 이제 데모 단계를 조금 넘어섰다는 점이다. 다만 그 사실이 곧바로 매끈한 사용자 경험을 뜻하지는 않는다. 로컬 모델의 품질 한계, 설치와 다운로드 부담, 하드웨어 편차가 여전히 크다. 커뮤니티에서도 현재 모델은 깊은 다중 턴 reasoning보다 짧고 분명한 작업에 더 맞는다는 평가가 많았다.

이번 HN 반응은 과장도 냉소도 아니었다. 로컬 추론이라는 방향은 맞다. 다만 제품으로 들어갈 때는 요구사항표가 곧 UX가 된다. Prompt API가 진짜로 자리 잡으려면 “브라우저 안에서 돈다”는 신기함이 아니라, 어떤 작업에서 서버형 AI보다 더 낫다고 납득시키는 순간이 먼저 와야 한다.