LLM은 언제 입을 다물까…GPT-4o·Gemma 3 내부 확신이 답변 거부를 움직인 첫 인과 증거

LLM이 ‘모르겠다’고 물러서는 행동은 단순히 프롬프트에 복종한 결과만은 아니었다. 모델 안에 형성된 확신 신호를 직접 높이거나 낮추자 답변을 내놓을지 거부할지가 함께 바뀌었다. 자율 에이전트가 의료·보안처럼 틀린 답보다 침묵이 나은 상황에서 스스로 멈추게 만드는 설계에 인과적 근거가 생긴 셈이다.

Nature Machine Intelligence에 9월 7일 게재된 논문은 약 4,000개 사실 확인 문항을 4지선다형으로 바꾸고 GPT-4o, Gemma 3 27B, DeepSeek 671B, Qwen 80B를 시험했다. 연구진은 먼저 거부 선택지가 없는 상태에서 답변 확률과 별도의 자기평가로 확신을 측정한 뒤, 같은 문항에 ‘확실한 답이 없으면 응답하지 않기’ 선택지를 추가했다. 이렇게 하면 거부 여부를 본 뒤 만들어진 설명이 아니라, 결정 전에 존재한 신호가 이후 행동을 예측하는지 확인할 수 있다.

GPT-4o의 첫 단계 정답률은 63.7%였다. 보정한 확신과 오류율의 상관계수는 −0.97이었고, 확신이 답변 거부를 예측하는 효과 크기는 문항 난도·지식 접근성·표면적 의미 특징보다 약 10배 컸다. 모델이 사실상 적용한 경계는 확신 77% 부근이었다. 거부 선택지를 주자 전체 응답 가운데 56.6%를 건너뛰었고, 실제로 답한 문항의 정확도는 63.7%에서 69.1%로 올랐다. 더 많이 대답하는 것과 더 정확하게 대답하는 것 사이의 교환 관계가 숫자로 드러났다.

상관을 넘어선 핵심 실험은 Gemma 3 27B의 내부 활성값 조작이다. 연구진이 중간 transformer 층의 표현을 높은 확신 쪽으로 밀자 실제 답변 비율은 늘고 거부는 줄었다. 반대 방향 조작에서는 거부가 늘었다. 500개 미사용 문항, 11개 층, 8개 조작 조건에서 얻은 44,000개 관측치를 매개 분석한 결과, 확신이 거부 선택지에서 실제 답변 쪽으로 재분배된 경로가 전체 효과의 67.1%를 설명했다. 결정 규칙 자체의 변화가 설명한 몫은 26.2%였다.

다만 확신을 높여 무조건 말을 더 시키는 것이 해법은 아니다. Gemma 3 27B의 응답 비율이 33.5%에서 93.0%로 커질 때, 답한 문항만 놓고 본 정확도는 59.2%에서 53.7%로 낮아졌다. 내부 확신은 정답을 직접 아는 신호가 아니라, 모델이 자신의 답을 얼마나 믿고 행동할지를 정하는 신호에 가깝다. 실제 정답 여부를 가려내는 내부 활성값의 최고 AUROC도 0.59에 머물렀다.

흥미로운 대목은 모델이 말로 매긴 확신도 별도 역할을 했다는 점이다. 이 자기평가는 실제 정답 판별력은 더 약했지만 4개 모델 모두에서 답변 거부를 독립적으로 예측했다. 출력 확률과 언어로 표현한 확신의 상관은 약 0.3~0.4에 불과했다. 연구진은 두 값이 답변 직전의 더 풍부한 내부 표현을 각기 불완전하게 읽어낸 결과라고 해석한다.

이 결과가 LLM에 인간과 같은 자기성찰이 있다는 뜻은 아니다. 논문도 계산 수준의 구조를 제시했을 뿐, transformer 내부에서 인간의 메타인지와 같은 과정이 작동한다고 단정하지 않는다. 실용적인 질문은 더 분명해졌다. 에이전트가 자신의 확신과 사용자가 정한 위험 임계값을 어떻게 함께 반영하는지 측정하고, 분야별로 ‘틀린 답의 비용’과 ‘불필요한 거부의 비용’을 조정하는 일이 다음 과제다.