‘Shadow API’가 LLM 연구 재현성을 무너뜨린다는 경고

r/MachineLearning에서 공유된 arXiv 논문은 frontier model 접근 비용과 지역 제한 때문에 늘어난 shadow API가 LLM 연구 재현성을 직접 훼손하고 있다고 경고한다. 논문 제목은 Real Money, Fake Models: Deceptive Model Claims in Shadow APIs로, 공식 GPT-5나 Gemini 접근을 제공한다고 주장하는 제3자 API가 실제로는 다른 모델을 서비스할 수 있다는 문제를 다룬다.

Reddit 요약에서 특히 주목받은 숫자는 세 가지였다. 187편의 academic paper가 이런 서비스에 의존했고, 성능 차이는 최대 47%까지 벌어졌으며, fingerprint 기반 identity 검증의 45%가 실패했다는 점이다. 이 수치가 맞다면 문제는 단순한 benchmark noise가 아니다. 논문에 GPT-5라고 써 있어도 실제로는 다른 backend와 safety setting을 썼을 수 있다는 뜻이기 때문이다.

댓글 반응은 거의 한 방향이었다. 많은 이들이 논문이 문제를 잘 지적했지만, appendix에서 해당 provider 이름을 공개하지 않아 실무적으로는 아쉽다고 봤다. 동시에 몇몇 사용자는 자신도 재현 실험을 하면서 provider의 기본 설정이 조용히 바뀌거나 출력 특성이 흔들려 시간을 허비한 경험이 있다고 적었다.

이 이슈가 무거운 이유는 LLM 평가가 이미 prompt drift, version drift, system setting 누락 때문에 어렵기 때문이다. shadow API는 그보다 더 근본적인 불확실성을 추가한다. 연구자가 정말 자신이 주장한 model을 테스트한 것이 맞는지조차 확인하기 어려워진다. 이는 논문, 제품 QA, 안전성 주장, 규제 대응 모두에 영향을 준다.

실무적으로는 교훈이 분명하다. 가능하면 공식 provider를 직접 쓰고, access path를 명시하며, 결과를 신뢰하기 전에 fingerprint나 sanity check를 넣어야 한다. 원문: arXiv 2603.01919. 커뮤니티 반응: r/MachineLearning.