Google, 실제 외래 진료에서 AMIE 시험... safety stop 0건

벤치마크에서 실제 진료로

Google Research와 Google DeepMind는 2026년 3월 11일, conversational diagnostic AI AMIE의 prospective real-world feasibility study를 공개했다. 이번 연구는 Beth Israel Deaconess Medical Center와 함께 진행됐으며, simulation에서 유망했던 진단 보조 system이 실제 ambulatory primary care에서도 안전하고 유용하게 작동할 수 있는지를 확인하는 데 초점이 맞춰졌다.

연구는 pre-registered, IRB-approved, single-center 설계로 진행됐다. 성인 환자 100명이 진료 전에 AMIE와 상호작용을 완료했고, 이 중 98명이 이후 예정된 진료를 받았다. Google은 4개의 사전 정의된 safety criteria에 따라 개입할 수 있는 human AI supervisor를 대기시켰지만, 연구 기간 중 safety stop은 한 번도 발생하지 않았다고 밝혔다.

결과가 말하는 것

Google에 따르면 AMIE는 overall management plan의 질과 differential diagnosis의 질에서 primary care physician과 비슷한 수준을 보였다. 다만 management plan의 practicality와 cost-effectiveness에서는 physician이 더 나은 평가를 받았다. 이는 실제 진료가 순수 진단 reasoning만이 아니라 운영적 판단과 자원 배분까지 포함한다는 점을 보여준다.

AMIE의 differential diagnosis는 최종 physician diagnosis를 90%의 사례에서 포함했고, top-3 accuracy는 75%였다. 또한 환자의 AI system 신뢰도는 상호작용 이후 높아졌고 follow-up 시점에도 유지됐다고 한다. 이는 conversational diagnostic system이 진료 전 정보 수집과 decision support 단계에서 실질적 가치를 가질 수 있음을 시사한다.

• 테스트 규모: 100건의 환자 상호작용, 98건의 실제 후속 진료.
• 안전성: human AI supervisor의 개입이 한 번도 필요하지 않았다.
• 해석 포인트: 일부 진단 지표에서는 비슷했지만 practicality와 비용 측면에서는 physician이 앞섰다.

Google도 과도한 해석은 경계했다. 이번 연구는 clinical efficacy를 확정하는 controlled trial이 아니라 feasibility study이며, text 기반·single-center라는 제한이 있다. 그럼에도 의료 AI 평가를 synthetic benchmark에서 실제 care setting으로 옮겼다는 점에서 의미가 크다. medical AI에게 진짜 어려운 시험은 결국 현장 적합성이기 때문이다.