Meta, object multiplexing을 적용한 SAM 3.1 공개로 multi-object video tracking 가속

Meta가 X에서 밝힌 내용

2026년 3월 27일, Meta는 SAM 3.1을 SAM 3의 drop-in update로 공개했다. X 게시물은 object multiplexing을 핵심 변화로 내세우며, accuracy를 희생하지 않고도 video processing efficiency를 크게 높인다고 설명한다. Meta는 또한 이번 업데이트가 더 작고 접근하기 쉬운 hardware에서도 고성능 application을 돌리기 쉽게 만들기 위한 것이라고 강조했다.

이 메시지가 중요한 이유는 video segmentation과 tracking workload가 object 수가 늘어날수록 빠르게 비싸지기 때문이다. 한두 개 object를 추적할 때는 잘 동작하던 시스템도 긴 video에서 다수의 object를 동시에 따라가야 하면 속도가 급격히 떨어질 수 있다. Meta는 SAM 3.1을 단순 checkpoint 교체가 아니라, 실제 배포 환경의 제약을 겨냥한 efficiency 업데이트로 제시하고 있다.

Release note가 추가한 정보

SAM 3.1 GitHub release note에 따르면 이번 업데이트는 Object Multiplex를 도입한다. 이는 joint multi-object tracking을 위한 shared-memory 접근 방식이다. 기존 SAM 3 pipeline은 추적 대상 object를 각각 독립적으로 처리했기 때문에 object 수가 늘수록 계산 비용도 거의 선형적으로 증가했다. SAM 3.1은 object를 고정 용량 bucket으로 묶어 함께 처리함으로써 중복 계산을 줄인다.

Meta는 구체적인 개선 수치도 제시했다. 2025년 11월 공개된 SAM 3와 비교해 single H100 GPU에서 object 128개 기준 약 7배 속도 향상을 달성했다고 설명한다. 여기에 CPU-GPU synchronization 감소, torch.compile 지원 개선, postprocessing과 vision encoder의 batching 확대 같은 inference 최적화도 포함됐다.

벤치마크 결과를 모든 항목에서 일방적 승리로 제시하지는 않지만, scaling 부담이 큰 지점에서는 의미 있는 개선을 주장한다. Release note는 YT-Temporal-1B에서 +2.1 cgF1, 그리고 MOSEv2에서 +2.0을 포함해 7개 중 6개 VOS benchmark에서 성능 향상이 있었다고 적었다. Meta는 또한 Hugging Face에 새 SAM 3.1 checkpoint를 공개했고, 이를 사용하려면 최신 repo code가 필요하다고 밝혔다.

왜 중요한가

더 큰 흐름은 open computer vision model 경쟁이 raw accuracy뿐 아니라 배포 효율성으로 이동하고 있다는 점이다. robotics, video analytics, sports analysis, editing tool 같은 실제 환경에서는 benchmark 우위보다 frame당 비용과 동시에 추적할 수 있는 object 수가 더 중요한 경우가 많다.

Meta의 설명대로라면 SAM 3.1은 dense multi-object video workflow를 더 낮은 hardware 예산으로도 돌릴 수 있게 해줄 가능성이 있다. 업데이트된 checkpoint와 code가 함께 공개됐기 때문에, 이번 발표는 단순한 연구 예고가 아니라 개발자와 연구자가 바로 시험해볼 수 있는 실질적인 릴리스에 가깝다.

출처: Meta AI X 게시물 · SAM 3.1 release note