#browser-ai

HN은 Mozilla의 Prompt API 반대를 단순한 표준 다툼이 아니라 브라우저 AI 잠금 경고로 읽었다. 모델별 프롬프트 튜닝, 벤더 약관, 호환성 분기가 다시 돌아온다는 점에 반응이 몰렸다.

HN은 로컬 추론, API 키 없는 흐름, 프라이버시 강화라는 장점을 바로 알아봤다. 동시에 브라우저 안 AI가 실제 제품이 되려면 저장공간과 하드웨어 요구사항부터 넘겨야 한다는 반응도 바로 붙었다.

LocalLLaMA가 크게 반응한 이유는 demo가 직관적이었기 때문이다. 약 290MB짜리 1.7B Bonsai model이 WebGPU로 browser 안에서 돈다. 같은 thread는 곧바로 tokens per second, hallucination, llama.cpp support, 그리고 1-bit model이 narrow task 밖에서도 쓸 만한지 따지며 현실 체크를 붙였다.