8~29MB로 DeepSeek V4 Flash를 이기는 엣지 AI 모델 'Needle 3'

Needle 3란

Cactus가 공개한 Needle 3는 일반 채팅이 아닌 자동화(도구 호출·구조화 추출)에 특화된 초소형 모델이다. 2~20개 레이어 각각이 독립 배포 가능한 서브네트워크로 구성되며, 전체를 합쳐도 8~29 MB짜리 바이너리 하나로 배포된다.

성능 수치

모바일 액션(전화 명령 정확도) 벤치마크에서 20레이어 모델은 86.0점을 기록했다. 비교군은 다음과 같다.

• LFM2.5 1.2B: 82.4
• Qwen3.5 0.8B: 76.0
• Apple 온디바이스 모델: 57.6

라즈베리파이 5에서는 최대 4,000 토큰/초 디코딩, 10,000 토큰/초 프리필을 달성한다. 파인튜닝 없이 4레이어(가장 작은 유용 크기)만으로도 DeepSeek V4 Flash 수준의 좁은 태스크 성능을 낼 수 있다고 팀은 밝혔다.

주요 기능

도구 호출: 앱이 노출한 함수 중 적합한 것을 선택하고 인수를 채운다. 해당 도구가 없으면 빈 리스트를 반환한다(오답 대신).

구조화 추출: 선언된 스키마에 맞춰 비정형 텍스트에서 필드를 추출한다. 출력 문법이 파싱을 보장한다.

텍스트 임베딩: 같은 가중치로 문장 벡터를 반환하므로 로컬 검색·매칭·라우팅이 가능하다.

지원 플랫폼

macOS, Linux(x86-64·ARM64·ARMv7·RISC-V·MIPS32), Windows(x64·ARM), Android, iOS, watchOS, tvOS, WebAssembly(브라우저), WASI 컴포넌트를 모두 지원한다. 다국어는 영어·프랑스어·스페인어·독일어·네덜란드어·이탈리아어·폴란드어를 지원하며 추가 언어 확장 예정이다.

Monarch Hadamard MLP

기존 FFN을 대체하는 이 구조는 세 쌍의 학습 가능한 Walsh-Hadamard 초기화 Kronecker(Monarch) 팩터에 채널별 대각 스케일과 SiLU 비선형성을 결합한다. 파라미터와 연산량은 O(d√d)로 기존 O(d²) 대비 크게 줄었다.