대장암 치료계획 정확도 4.09 대 4.11, GatorOnco 전문의 5인 맹검 평가 결과

대장암 치료계획을 작성한 AI가 전문의와 거의 같은 정확도 평가를 받았다. GatorOnco는 5명의 UF Health 종양내과 전문의가 진행한 맹검 무작위 평가에서 정확도 4.09점을 기록했고, 전문의가 작성한 계획은 4.11점이었다. 통계적 차이는 없었다(P=0.921). 8월 10일 공개된 논문은 진단 보조를 넘어, 환자 정보와 계속 바뀌는 지침을 종합해 치료 선택지를 만드는 고위험 업무를 직접 시험했다는 점에서 눈에 띈다.

모델은 총 2820억 토큰의 생의학 텍스트로 개발됐다. 이 가운데 1660억 토큰은 UF Health의 의료 시스템 규모 임상 텍스트다. 연구팀은 사전학습, 모델 병합, 2단계 후처리 학습, 에이전트 기반 강화학습을 결합했다. 여기에 시점에 따라 바뀌는 임상지침을 추론 과정에서 동적으로 검색하는 agentic RAG를 붙였다. 대장암 치료는 병기, 분자 표지자, 수술 가능성, 이전 치료와 최신 가이드라인을 함께 읽어야 하므로, 고정된 모델 지식만으로는 권고가 금방 낡을 수 있다는 문제를 겨냥한 구성이다.

평가는 정확도 하나로 끝나지 않았다. GatorOnco와 전문의의 점수는 최신성에서 4.04 대 3.98(P=0.478), 안전성에서 4.22 대 4.22(P=0.999)로 통계적으로 비슷했다. AI 쪽이 더 높은 점수를 받은 항목도 있었다. 가독성은 4.46 대 4.19, 완전성은 3.91 대 3.52였으며 두 차이 모두 P<0.01이었다. 연구팀은 GatorOnco가 비교한 오픈소스 LLM보다 유의하게 높은 성능을 냈다고 보고했다(P<0.01).

결과를 ‘AI 종양의가 인간을 넘었다’고 해석하면 범위를 벗어난다. 평가는 UF Health 소속 전문의 5명이 같은 기관의 데이터와 환경을 바탕으로 진행했다. 논문은 실제 환자를 대상으로 치료를 배정해 생존율, 부작용, 삶의 질을 비교한 임상시험이 아니다. 점수는 생성된 치료계획의 품질에 대한 전문가 판단이며, 다른 병원·인구집단·진료체계에서 같은 결과가 나오는지도 아직 확인되지 않았다. 1660억 토큰의 기관 임상 데이터가 성능에 기여한 만큼 외부 검증은 특히 중요하다.

그럼에도 이번 수치는 의료 LLM의 평가축을 바꾼다. 일반 의학문답 점수보다 실제 치료계획의 정확성, 최신성, 안전성을 분리해 전문의 기준과 비교했다. 최신 지침을 검색으로 갱신하는 구조는 모델 재학습 주기와 임상지침 변경 주기 사이의 간극을 줄일 실용적 접근이기도 하다.

다음 관문은 분명하다. 여러 의료기관이 참여하는 전향적 평가, 환자군별 오류 분석, 검색한 지침과 최종 권고 사이의 근거 추적, 그리고 전문의가 수정해야 했던 사례의 공개가 필요하다. 현재 결과는 자율 진료의 허가증이 아니라, 전문가 감독 아래 치료계획 초안을 만드는 시스템이 본격적인 임상 검증 단계에 들어갈 만한 근거다.