#webgpu

반응은 “브라우저만 있으면 로컬 LLM”이라는 편의성과 WebGPU·모델 정체성에 대한 정정 사이에서 갈렸다.

LocalLLaMA가 크게 반응한 이유는 demo가 직관적이었기 때문이다. 약 290MB짜리 1.7B Bonsai model이 WebGPU로 browser 안에서 돈다. 같은 thread는 곧바로 tokens per second, hallucination, llama.cpp support, 그리고 1-bit model이 narrow task 밖에서도 쓸 만한지 따지며 현실 체크를 붙였다.

Show HN 스레드에서 주목받은 Gemma Gem은 Chrome extension 안에서 Gemma 4를 WebGPU로 직접 실행하고, page 읽기·click·type·scroll·screenshot·JavaScript 실행까지 로컬에서 처리하는 on-device browser agent다.

Cohere는 2026년 3월 28일 Transcribe가 real-world noise 환경에서 speech recognition accuracy의 새 기준을 세운다고 밝히며 체험 링크를 공유했다. 함께 공개된 Hugging Face 자료는 Transcribe를 Apache 2.0 기반 2B-parameter, 14-language ASR model로 설명하고, 별도 WebGPU demo는 이 모델이 브라우저 로컬 환경에서도 동작함을 보여 준다.

LocalLLaMA의 한 post는 Liquid AI의 LFM2-24B-A2B가 M4 Max browser에서 약 50 tokens per second로 동작한다고 주장하며 79 points와 11 comments를 모았다. Community의 관심은 sparse MoE architecture, ONNX packaging, 그리고 WebGPU가 local AI deployment target을 어디까지 넓힐 수 있는지에 집중됐다.

CanIRun.ai는 WebGL, WebGPU, navigator API로 GPU, CPU, RAM을 browser 안에서 감지하고, 어떤 quantized model이 내 장비에 맞는지 추정한다. HN 이용자들은 아이디어를 반겼지만, 누락된 hardware 항목, 보수적인 추정치, model 기준 역검색 기능은 더 보완이 필요하다고 지적했다.

Transformers.js와 WebGPU를 이용해 Qwen 3.5 0.8B 모델을 서버 없이 브라우저에서 완전히 실행하는 데모가 공개되어 r/LocalLLaMA에서 440점을 획득했습니다. 설치나 API 키 없이도 강력한 소형 LLM을 체험할 수 있습니다.

Llama 3.2, DeepSeek-R1, Qwen3 등을 Chrome 브라우저에서 직접 실행하는 확장 프로그램. 서버, 구독료, API 비용 없이 완전히 로컬에서 작동하며, 오프라인 사용과 완벽한 프라이버시를 제공합니다.