Meta Llama 4, 네이티브 멀티모달 AI 시대 개막... 1천만 토큰 컨텍스트 지원

네이티브 멀티모달의 혁신

Meta가 Llama 4 시리즈를 발표하며 AI 업계에 새로운 이정표를 세웠다. Llama 4 Scout와 Llama 4 Maverick은 최초의 오픈 웨이트 네이티브 멀티모달 모델로, 텍스트·이미지·비디오를 처음부터 통합 처리하도록 설계되었다.

Llama 4 Maverick: 170억 파라미터의 강자

Llama 4 Maverick은 170억 개의 액티브 파라미터와 128개의 전문가(experts)를 갖춘 Mixture-of-Experts(MoE) 아키텍처를 사용하는 Meta 최초의 모델이다.

광범위한 벤치마크에서 GPT-4o와 Gemini 2.0 Flash를 능가하며, 동급 최고의 멀티모달 모델임을 입증했다.

Llama 4 Scout: 1천만 토큰 컨텍스트

Llama 4 Scout는 Llama 3의 128K 토큰에서 업계 최장인 1천만 토큰으로 컨텍스트 길이를 획기적으로 확장했다. 이는 수백 페이지의 문서, 수시간 분량의 비디오, 또는 대규모 코드베이스를 단일 컨텍스트에서 처리할 수 있음을 의미한다.

오픈 웨이트 전략의 의미

Meta는 Llama 4를 오픈 웨이트 모델로 공개하여, 연구자와 개발자가 자유롭게 활용하고 개선할 수 있도록 했다. 이는 상용 클로즈드 모델(GPT, Claude, Gemini) 대비 투명성과 접근성에서 큰 차별점이다.

AI 생태계에 미치는 영향

Llama 4의 등장은 멀티모달 AI의 민주화를 의미한다. 이전에는 OpenAI, Google, Anthropic 등 대형 테크 기업만이 제공하던 멀티모달 능력을 이제 누구나 사용하고 커스터마이징할 수 있게 되었다.

MoE 아키텍처의 도입은 효율성 측면에서도 중요하다. 필요한 전문가만 활성화하여 계산 비용을 줄이면서도 성능은 유지할 수 있다.