LLM 해커뉴스
ESP32에서 28.9M LLM, 8달러 칩 위의 온디바이스 실험
작은 microcontroller에서 LLM을 돌린다는 말은 과장이 아니다. 핵심은 flash에 25M parameter lookup table을 두고 token마다 필요한 일부만 읽는 메모리 배치다.
1분 소요 20 조회
태그
#esp32 태그가 달린 기사
작은 microcontroller에서 LLM을 돌린다는 말은 과장이 아니다. 핵심은 flash에 25M parameter lookup table을 두고 token마다 필요한 일부만 읽는 메모리 배치다.
ESP32 마이크로컨트롤러에서 단 888KB로 실행되는 Claw 기반 개인 AI 어시스턴트 'zclaw'가 공개됐습니다. Hacker News에서 161포인트를 받으며 임베디드 AI 가능성을 보여줬습니다.