OS 없이 LLM 추론 — UEFI에서 직접 부팅하는 베어메탈 AI

OS 없이 AI와 대화하다

한 개발자가 PC를 켜자마자 운영체제 없이 바로 AI와 대화할 수 있는 시스템을 구현해 LocalLLaMA 커뮤니티에서 큰 반향을 일으키고 있다. Dell E6510 노트북에서 시연된 이 프로젝트는 UEFI 부트 서비스 모드에서 직접 LLM 추론을 실행한다.

기술 구조

이 UEFI 애플리케이션의 전체 스택은 의존성 없는 순수 C로 작성되었다:

• 토크나이저 (tokenizer)
• 가중치 로더 (weight loader)
• 텐서 연산 엔진 (tensor math)
• 추론 엔진 (inference engine)

전원을 켜고 "Run Live"를 선택한 뒤 "chat"을 입력하면 곧바로 AI와 대화를 시작할 수 있다. 이 모든 것이 OS 커널, 드라이버(Wi-Fi 제외) 없이 UEFI 부트 서비스 레이어 위에서 동작한다.

현재 한계와 개발 계획

개발자는 현재 최적화 작업이 거의 이루어지지 않아 처리 속도가 느리다고 밝혔다. 그러나 속도 최적화보다 네트워크 드라이버 구현을 우선시하고 있으며, 이후 소형 모델을 서빙하는 형태로 발전시킬 계획이다.

왜 이것이 흥미로운가

베어메탈 AI는 단순한 기술적 묘기를 넘어 흥미로운 가능성을 제시한다. 초경량 엣지 디바이스, 임베디드 시스템, 보안이 중요한 환경에서 OS 없이 AI 추론을 실행하는 것이 가능해질 수 있다. 개발 초기 단계임에도 불구하고 커뮤니티의 높은 관심(394점)을 받고 있다.