Meta, SAM 3.1 공개... object multiplexing으로 single H100에서 32 FPS video tracking

Meta는 March 27, 2026 Segment Anything 계열의 최신 업데이트인 SAM 3.1을 공개했다. 이번 버전의 초점은 real-time video detection과 tracking 성능 향상이다. 회사는 SAM 3.1을 SAM 3의 drop-in replacement로 설명하면서, 핵심 개선점으로 object multiplexing을 제시했다. Meta에 따르면 이 방식은 최대 16개 object를 single forward pass에서 함께 추적할 수 있게 해 주며, medium-object-count video에서는 single H100 GPU 기준 throughput을 16 FPS에서 32 FPS로 높인다.

이 변화가 중요한 이유는 multi-object video tracking이 scene이 복잡해질수록 compute cost가 빠르게 커지기 때문이다. Meta는 기존 방식에서는 object마다 별도 pass가 필요해 redundant computation과 memory overhead가 발생했다고 설명한다. SAM 3.1은 tracked objects를 함께 처리하고 global reasoning을 적용해 이런 병목을 줄이는 방향으로 설계됐다. 결과적으로 더 복잡한 장면에서도 real-time 사용 가능성을 높이면서 GPU 요구량을 낮추는 것이 목표다.

Meta가 함께 내놓은 것

Meta는 개발자들이 SAM 3.1을 기존 SAM 3 환경에 비교적 쉽게 대입할 수 있도록 설계했다고 강조한다. 회사는 updated checkpoint, SAM 3 codebase 변경 사항, research paper, Segment Anything Playground 접근 경로를 함께 안내했다. 이는 media tooling, robotics perception, enterprise video workflow처럼 latency와 GPU cost가 실제 배포 가능성을 좌우하는 분야에 직접적인 의미가 있다.

• Meta는 SAM 3.1이 single forward pass에서 최대 16개 object를 추적할 수 있다고 설명했다.
• medium-object-count video에서는 single H100 기준 throughput이 16 FPS에서 32 FPS로 상승한다고 밝혔다.
• 이번 업데이트는 별도 product line이 아니라 SAM 3의 drop-in replacement 형태로 제공된다.

이번 공개는 Meta가 computer vision research를 creator 도구와 commerce workflow로 연결하는 흐름과도 맞닿아 있다. 회사는 SAM 3 계열이 Facebook Marketplace의 View in Room 같은 기능에 쓰이고 있으며, 관련 creation feature가 Edits, Vibes, Meta AI surfaces로 확장될 예정이라고 설명했다. 따라서 SAM 3.1은 단순한 runtime 최적화 이상의 의미를 가진다. Open computer-vision model이 academic demo를 넘어, 실제 production loop에서 latency와 cost를 다투는 단계로 이동하고 있다는 점을 보여주는 사례다.