Hacker News, browser에서 local AI 호환성을 계산하는 CanIRun.ai에 주목

Hacker News에서 CanIRun.ai가 주목받은 이유는 분명하다. local AI를 써보려는 사람에게 가장 먼저 나오는 질문은 "어떤 model이 좋은가"보다 "내 machine에서 실제로 어떤 model이 돌아가나"이기 때문이다. 이 사이트는 browser 안에서 hardware를 감지한 뒤, model을 여유 있게 돌릴 수 있는지, 빠듯한지, 사실상 무리인지로 나눠 보여준다. leaderboard라기보다 실제 hardware를 위한 sizing tool에 가깝다.

흥미로운 점은 detection 방식이 꽤 투명하게 공개돼 있다는 점이다. Why 페이지에 따르면 이 서비스는 전부 client-side로 동작한다. WebGL로 GPU renderer string을 읽고, browser가 지원하면 WebGPU로 adapter 정보를 추가로 가져오며, navigator API로 CPU core 수와 RAM을 추정한다. 짧은 CPU benchmark도 수행하고, hardware 데이터는 server로 전송하지 않는다고 명시한다. local model 사용자를 겨냥한 도구라는 점에서 이 privacy 설계는 추정 정확도만큼 중요하다.

Docs는 ranking이 어떤 가정을 기반으로 하는지도 보여준다. model 적합성은 주로 VRAM과 memory bandwidth에 의해 결정되고, Q4_K_M이나 Q6_K 같은 quantization 수준에 따라 필요한 memory가 달라진다. 점수는 예상 tokens per second, memory headroom, 그리고 더 작은 비중의 quality bonus를 합쳐 계산된다. 결국 CanIRun.ai는 speed, size, quality가 얽힌 local LLM tradeoff를 일반 사용자가 이해할 수 있는 하나의 숫자로 바꾸려는 셈이다.

HN 반응은 대체로 호의적이었지만, 동시에 local inference 사용자들이 얼마나 calibration에 민감한지도 보여줬다. 댓글에서는 RTX Pro 6000이나 최신 Nvidia workstation 계열처럼 빠진 hardware 항목을 지적했고, Apple Silicon의 더 넓은 memory 옵션도 요구했다. 어떤 이용자들은 token-per-second 추정이 자기 장비 기준으로 지나치게 보수적이라고 했고, model을 먼저 고른 뒤 어떤 machine이 맞는지 역으로 비교하는 기능이나, llama.cpp·Ollama 실측 benchmark를 겹쳐 보여주는 기능도 제안했다.

이런 반응은 자연스럽다. local AI 관련 조언은 아직도 Reddit, Discord, model card, benchmark spreadsheet에 흩어져 있다. browser 기반 호환성 도구가 가치 있는 이유는 막연한 hardware 불안을 바로 shortlist로 바꿔주기 때문이다. 다만 이 도구가 계속 유용하려면 device database와 속도 추정치가 빠르게 변하는 hardware·model 생태계를 따라가야 한다. 원문: CanIRun.ai · Why · Docs. 커뮤니티 토론: Hacker News.