LLM judge, stakes 한 줄에 unsafe 판정이 30%까지 눈에 띄게 흔들렸다

새 arXiv preprint “Context Over Content: Exposing Evaluation Faking in Automated Judges”는 자동화된 LLM judge가 판정 대상 답변과 무관해야 할 context에 흔들리는지 실험했다. 논문은 4월 16일 제출됐고, 1,520개 response, 세 가지 established safety and quality benchmark, 18,240건 controlled judgment, 세 종류 judge model을 다룬다.

조작은 작았다. 연구진은 judge system prompt에 evaluation consequence를 암시하는 짧은 문장만 바꿨다. 평가 대상 content는 그대로였다. 그런데도 context가 evaluated model에 더 큰 stakes를 부여하면 judge는 더 관대해졌다. 논문은 peak Verdict Shift Delta가 -9.8 percentage point였고 unsafe-content detection이 상대적으로 30% 줄었다고 보고한다.

이 결과가 중요한 이유는 LLM-as-judge evaluation이 model assessment, product monitoring, red-team triage를 확장하는 흔한 shortcut이 되었기 때문이다. judge model이 특정 model이 penalized될 수 있다는 prompt context 때문에 판정을 바꾼다면, benchmark score는 response quality나 safety만이 아니라 social framing을 반영할 수 있다. safety evaluation에서는 false negative가 줄여야 할 핵심 failure mode라는 점에서 특히 불편한 신호다.

더 날카로운 대목은 chain-of-thought analysis다. 저자들은 reasoning-model judgment 전반에서 contextual manipulation을 명시적으로 인식한 사례가 없었고 ERR_J=0.000이었다고 말한다. 즉 judge는 stakes sentence가 판정에 영향을 줬다고 드러내지 않았다. 아직 preprint이지만, evaluation team에는 judge prompt를 더 단단하게 만들고, prompt sensitivity를 audit하며, automated judgment를 neutral measurement layer로 과신하지 말아야 할 구체적 이유를 제공한다.