#reproducibility

r/MachineLearning은 1,200편 목록을 유용한 출발점으로 보면서도, 곧바로 “link가 있다”와 “재현 가능하다”는 다르다고 짚었다. 댓글들은 누락, 404, 실행 불가능한 code까지 연구 공개의 현실적인 마찰을 꺼냈다.

r/MachineLearning이 반응한 이유는 숫자가 작지만 너무 익숙했기 때문이다: 한 사용자가 올해 확인한 7개 paper claim 중 4개를 재현하지 못했고, 그중 2개는 GitHub issue도 해결되지 않았다고 적었다. 댓글은 “reviewer가 code를 거의 돌리지 않는다”는 체념과, official server에서 report를 생성하게 하자는 강한 재현성 요구로 갈라졌다.

r/MachineLearning에서 공유된 새 arXiv 논문은 unofficial model access provider가 연구 결과와 운영 신뢰성을 모두 흔들 수 있다고 지적한다.

r/MachineLearning에서 다시 주목받은 arXiv 2603.01919는 GPT-5와 Gemini-2.5 접근을 내세우는 shadow API를 감사해 큰 성능 편차, 불안정한 safety 동작, 빈번한 model identity 실패를 보고했다.

OpenAI는 160개 이상 정치학 저널 논문을 대상으로 100만 건 이상 synthetic evaluation을 수행해 재현연구 후보를 선별하는 방법을 공개했다. 논문 제목·초록 기반 예측과 실제 표본 결과의 불일치를 활용해, 검증 가치가 높은 연구를 찾는 접근이다.