Gemini 영상 분석, 정확도 높이고 토큰 사용량 최대 88% 줄이는 동적 프레임 추출 도입

영상 분석에 쓰이는 토큰을 최대 88% 줄이면서 정확도까지 높인 새 방식이 최신 Gemini 모델에 들어갔다. 핵심은 긴 영상을 처음부터 끝까지 같은 밀도로 훑지 않는 것이다. 모델이 자막, 음성, 프레임을 함께 추론하고 질문에 필요한 순간을 판단해 프레임 추출 빈도를 바꾼다. 영상 길이가 늘수록 불필요한 시각 토큰이 쌓이던 구조를 바꾸는 접근이라, 여러 시간짜리 자료를 다루는 에이전트의 비용과 응답 시간을 동시에 낮출 수 있다.

“최신 Gemini 모델에 에이전트형 영상 이해를 적용했다. 더 높은 정확도로 영상을 분석하면서 토큰은 최대 88% 적게 사용한다.” — Google DeepMind 게시물 요지

Google DeepMind의 후속 설명에 따르면 Gemini는 파일 전체를 기계적으로 스캔하는 대신 영상의 자막과 오디오, 화면 정보를 넘나든다. 이어 필요한 장면을 정확히 가져오도록 프레임률을 동적으로 조절한다. 10분 길이의 사용 안내부터 여러 시간짜리 콘텐츠까지 긴 자료에서 효율 개선 폭이 특히 커진다는 설명이다. 여기서 88%는 모든 영상에 일괄 적용되는 고정 절감률이 아니라, 질문과 영상 구조에 따라 도달할 수 있는 최대치로 읽어야 한다.

기존 영상 언어 모델은 일정한 간격으로 프레임을 뽑거나, 미리 정한 상한에 맞춰 시각 정보를 압축하는 경우가 많다. 이 방식은 중요한 짧은 장면을 놓치거나, 변화가 거의 없는 구간에도 같은 계산량을 쓰는 문제가 있다. Gemini의 접근은 먼저 어디를 자세히 볼지 정하고 그 결정에 따라 입력을 구성한다는 점에서 검색과 추론을 결합한다. 단순한 입력 압축보다 질문별 증거 수집에 가깝다.

Google DeepMind 계정은 Gemini 기능, 과학 연구, 로봇공학 결과를 직접 공유하는 공식 연구 채널이다. 이번 게시물에는 사용된 평가 세트와 모델별 점수, 기준 방식의 토큰 수가 제시되지 않았다. 따라서 정확도 개선과 88% 절감이 어떤 영상 유형과 질문에서 측정됐는지는 아직 독립적으로 비교하기 어렵다. 다만 토큰이 API 비용과 처리 지연에 직접 연결되는 멀티모달 서비스에서는 절감 폭 자체가 제품 설계에 영향을 줄 만한 수치다.

실제 적용처는 회의와 강의 요약, 스포츠 장면 검색, 보안 영상 점검, 긴 사용 설명서 질의처럼 필요한 구간이 드문 작업이다. 반대로 매 프레임의 작은 변화가 중요한 의료 영상이나 정밀 동작 분석에서는 동적 선택이 증거를 건너뛰지 않는지 확인해야 한다. 프레임을 덜 보는 대신 오디오와 자막 의존도가 높아질 경우, 음성이 없거나 자막이 부정확한 영상에서 성능이 달라질 수도 있다.

다음으로 볼 것은 정확한 지원 모델과 API 공개 범위, 영상 길이별 토큰 곡선, 기준 샘플링 방식, 장면 누락률이다. Google이 평가 코드나 재현 가능한 표를 내놓으면 88%가 평균적인 운영 절감인지 특정 조건의 최고치인지 구분할 수 있다. 개발자에게는 같은 질문을 반복할 때 프레임 선택 결과를 재사용할 수 있는지, 절감된 입력 토큰이 가격과 지연시간에 그대로 반영되는지도 중요하다.

출처: Google DeepMind 원문 게시물