Needle2는 거대한 대화 모델을 줄인 제품이 아니라, 기기 안에서 도구를 고르고 JSON 인자를 만드는 일에 집중한 14MB agentic model이다. 스마트폰, wearable, 스마트홈, 로봇처럼 네트워크 지연과 메모리 예산이 민감한 환경을 겨냥한다. 명령을 클라우드로 보내지 않고 현장에서 해석할 수 있다는 점이 매력적이며, 아주 작은 모델을 agent stack의 마지막 실행 계층으로 둘 수 있다는 가능성을 보여 준다.

설계는 과감하다. Cactus는 tool calling을 방대한 지식 회상보다 검색과 조립에 가까운 문제로 보고, 외부에 주어진 tool schema에서 이름과 argument를 골라내는 데 모델 용량을 썼다. 소비자 기기 동작과 구조화 추출에 맞춘 학습 덕분에 작은 크기에서도 형식에 맞는 호출을 만들 수 있다. 다만 일반 기업 API나 Java·JavaScript 도구처럼 학습 범위 밖의 schema에서는 성능 간격이 커진다고 개발진도 밝힌다.

토론이 흥미로워진 지점은 benchmark가 아니라 공개 demo였다. “조금 더 따뜻하게”라는 요청에 냉방 모드와 65도를 제안하거나, 이해하지 못한 입력에도 임의로 현관문 잠금 호출을 만드는 사례가 나왔다. 밝기나 온도 단위를 무시했다는 시험도 있었다. 도구를 호출하지 않는 선택과 불확실성 보정이 약하면, 작은 모델의 빠른 응답은 실제 장치를 더 빨리 잘못 움직이는 결과로 이어질 수 있다.

이 문제는 Needle2의 방향을 부정하기보다 배치 조건을 선명하게 만든다. 음악 재생이나 화면 전환처럼 되돌리기 쉬운 작업에는 로컬 호출기가 유용하다. 잠금장치, 온도조절기, 차량, 결제처럼 물리적·금전적 결과가 남는 작업에는 허용 목록, 단위 정규화, confidence threshold, 사용자 확인이 필요하다. “아무 tool도 호출하지 않음”을 정상 출력으로 충분히 학습시키는 것도 중요하다.

댓글에서는 14MB라는 숫자가 최적점인지, 28MB나 140MB를 쓰면 정확도가 얼마나 좋아지는지 묻는 의견이 이어졌다. 이는 micro-LLM 평가가 최저 크기 경쟁에서 벗어나야 한다는 신호다. RAM, 배터리, latency와 함께 잘못된 호출 비용을 측정하고, 각 기기의 실제 tool set으로 fine-tuning한 결과를 공개해야 제품 판단이 가능하다.

Needle2 페이지에서 구조, 평가, 실행 환경을 확인할 수 있다. Hacker News 토론은 demo 실패 사례와 모델 크기 trade-off를 함께 기록한다. 작은 agent가 맡을 일과 큰 모델로 넘길 일을 나누는 기준이 이 프로젝트의 다음 시험대다.

#micro-llm

14MB Needle2, 손목 위 agent의 가능성과 아직 위험한 오작동