r/MachineLearning이 환기한 Shadow API 재현성 리스크

r/MachineLearning이 짚은 문제

r/MachineLearning의 한 Research 글은 arXiv 2603.01919, Real Money, Fake Models: Deceptive Model Claims in Shadow APIs를 다시 끌어올렸다. 논문은 GPT-5, Gemini-2.5 같은 frontier LLM에 대한 공식 접근을 우회해 준다고 주장하는 제3자 서비스를 조사한다. 표면적으로는 결제 장벽과 지역 제한을 완화하는 편의 서비스처럼 보이지만, 연구진이 던지는 질문은 훨씬 근본적이다. 사용자가 정말로 공식 모델을 호출하고 있다고 믿어도 되는가, 아니면 이름만 같은 다른 모델 출력을 받고 있는가 하는 점이다.

논문이 제시한 수치는 가볍지 않다. 저자들은 17개의 shadow API가 187개의 academic paper에 사용됐다고 추적했고, 가장 널리 쓰인 서비스 하나는 2025-12-06 기준 5,966 citations와 58,639 GitHub stars에 연결돼 있다고 적었다. 또한 대표적인 3개 shadow API를 utility, safety, model verification 관점에서 감사한 결과, 공식 API 대비 performance divergence가 최대 47.21%에 달했고, fingerprint test 기준 identity verification failure는 45.83%였다. 안전성 동작 역시 일관되지 않았다고 보고한다.

왜 재현성과 운영 신뢰성 모두에 치명적인가

• 동일한 실험이더라도 실제 backend model이 다르면 benchmark 결과는 비교 자체가 무너진다.
• 안전성 거부 패턴이 불안정하면 production policy도 예측 불가능해진다.
• 논문에 적힌 “GPT-5 via API”가 공식 경로가 아니었다면 후속 재현 연구는 처음부터 잘못된 기준 위에 서게 된다.

Reddit 작성자는 이 문제를 연구 재현성에만 한정하지 않았다. 특정 모델의 응답 성질에 의존하는 제품을 운영하는 팀도 같은 위험에 놓인다. 벤더가 실제 제공 모델을 숨기거나 수시로 바꾸면, 시스템의 품질 저하 원인을 프롬프트, 코드, 데이터, 모델 가운데 어디서 찾아야 할지조차 불분명해진다. 연구 논문과 운영 서비스가 같은 provenance 문제를 공유한다는 뜻이다.

공식 API 접근이 비싸고 지역 제한도 존재한다는 현실 때문에 shadow API가 생겨난 배경은 이해할 수 있다. 하지만 이 논문은 그 편의가 결국 모델 정체성의 불투명성과 과장된 신뢰로 이어졌음을 보여준다. 앞으로는 direct billing, fingerprinting, 명시적 provider disclosure 같은 절차가 비용이 아니라 기본 통제 수단으로 받아들여질 가능성이 크다.

Source: arXiv 2603.01919. Community discussion: r/MachineLearning thread.