20개 지표로 agent 품질 추적, Gemini Enterprise 평가 서비스 GA

Agent를 배포한 뒤 “잘 되고 있다”는 감각만으로 운영하기 어려워졌다. Google이 Gemini Enterprise Agent Platform의 agent·model 평가 기능을 GA로 전환하면서, 개발 단계의 테스트 케이스와 실제 운영 트래픽을 같은 평가 엔진으로 채점하는 길이 열렸다.

새 서비스의 초점은 모델 순위표가 아니라 운영 품질이다. Google에 따르면 이 기능은 quality, safety, grounding, tool use, trajectory, reference 기반 채점 등 20개 이상의 사전 구축 지표를 제공한다. 요약에는 ROUGE, 번역에는 BLEU·MetricX·COMET, 추출형 QA에는 exact match 같은 결정적 지표를 쓸 수 있고, agent 행동처럼 한 줄 정답이 없는 문제에는 LLM-as-a-judge와 code-based metric을 붙일 수 있다.

눈에 띄는 부분은 Google DeepMind와 함께 설계했다는 adaptive rubrics다. 하나의 고정 judge prompt로 모든 입력을 평가하는 대신, 평가 케이스·개발자 지시·tool 선언을 바탕으로 케이스별 통과 기준을 만든다. Task Success, Tool Use Quality, Safety, Trajectory Quality, Final Response Quality, Hallucination, Grounding 같은 항목을 같은 흐름 안에서 다룬다는 점이 핵심이다.

운영 쪽 변화도 크다. 실험은 로컬 또는 서버 측에서 돌릴 수 있고, 서버 측 실행은 산출물을 Cloud Storage에 남겨 감사와 재현성을 확보한다. 이미 Agent Platform에 배포된 agent라면 telemetry와 trace를 바탕으로 기존 세션을 채점하거나, user simulator와 environment simulator로 다중 턴 상황과 느리거나 실패하는 백엔드를 미리 만들 수 있다.

대규모 평가 작업에서는 failure를 자체 taxonomy에 따라 묶는 issue clustering도 지원된다. 실패가 늘어났을 때 모델이 나빠진 것인지, agent 설계가 흔들린 것인지, 측정 방식이 바뀐 것인지 분리해 보려는 기능이다.

이번 GA는 enterprise agent 시장의 논점이 “무엇을 만들 수 있나”에서 “운영 중 품질을 어떻게 증명하나”로 이동하고 있음을 보여준다. 다음 관전 포인트는 이 평가 결과가 CI/CD, 승인 워크플로, 규제 산업의 감사 자료까지 얼마나 자연스럽게 이어지는지다.