#reproducibility

r/MachineLearningは1,200本の一覧を有用な入口として見ながらも、「linkがある」と「結果を再現できる」は別だとすぐに指摘した。コメントでは漏れ、404、動かないcodeまで、研究公開の現実的な摩擦が並んだ。

r/MachineLearningが反応したのは、数字が小さいのに見覚えがありすぎたからだ。投稿者は今年確認した7件のpaper claimのうち4件を再現できず、2件はGitHub issueも未解決だと書いた。コメント欄は、reviewerがcodeをほとんど実行しない現実から、submission時に再現reportを生成させる案まで進んだ。

r/MachineLearningで共有された新しいarXiv論文は、非公式のmodel access providerが研究結果と運用上の信頼性の両方を揺るがすと指摘している。

r/MachineLearningで再注目されたarXiv 2603.01919は、GPT-5やGemini-2.5へのアクセスをうたうshadow APIを監査し、大きな性能乖離、不安定なsafety挙動、頻繁なmodel identity failureを報告した。

OpenAIは160超の政治学ジャーナルを対象に100万件超のsynthetic evaluationを実施し、再現研究の優先順位づけ手法を公開した。モデル予測と実測結果の不一致を、再検証価値の高い研究の発見に使う設計だ。