LocalLLaMA에서 떠오른 llama.cpp용 Apple Neural Engine backend 실험

2026년 3월 30일 r/LocalLLaMA에는 llama.cpp용 Apple Neural Engine backend 실험이 공유됐다. 2026년 3월 31일 기준 이 thread는 68 points와 21 comments를 기록했고, Apple Silicon에서 CPU와 Metal 외에 ANE를 진지한 inference target으로 쓸 수 있는지에 관심이 모였다.

실제로 구현된 것은 무엇인가

이 Reddit 글은 ggml-org/llama.cpp issue comment와 companion ggml-ane repository를 가리킨다. 해당 comment에서 작성자는 MUL_MAT 연산을 private API를 통해 Apple Neural Engine으로 dispatch하는 working ggml backend를 만들었다고 밝혔다. 동시에 이는 공식 upstream 기능이 아니라 실험적 구현이라는 점도 분명히 했다.

• 제시된 M4 Pro 결과는 N=256에서 peak 4.0 TFLOPS다.
• 작성자는 이것이 CPU 대비 16.8x 빠르다고 설명했다.
• 현재 prototype은 N >= 64인 prefill에 ANE를 쓰고, decode는 Metal 또는 CPU로 처리한다고 적었다.

comment에는 MIL-side transpose, kernel cache, quantized weight support도 언급된다. 이는 단순히 ANE에서 하나의 toy kernel을 실행한 수준이 아니라, 실제 로컬 inference의 병목을 겨냥하고 있다는 신호다. 다만 private API에 의존한다는 점은 production deployment나 공식 지원을 기대하는 개발자에게 중요한 제약 조건이다.

왜 의미가 있나

현재 Apple Silicon 기반 로컬 LLM stack은 대부분 CPU와 Metal 사이에서 작업을 나눈다. ANE는 하드웨어 설명에서 자주 언급되지만, open-source inference runtime에서 본격적인 실행 경로로 활용된 사례는 많지 않았다. 이 실험이 성숙한다면 prefill 비중이 큰 workload에서 GPU 부담을 덜어주는 세 번째 경로가 생길 수 있다.

지금 단계에서도 시그널은 분명하다. 개발자들이 ANE를 단순 마케팅 용어가 아니라 ggml과 llama.cpp의 실제 target으로 검토하기 시작했다는 점이다. 커뮤니티 출처는 Reddit thread, 기술 출처는 링크된 GitHub issue comment와 prototype repository다.