ICLR 2026のcode公開1,200本、r/MachineLearningは再現性を問い直す

r/MachineLearningでICLR 2026のcode/data一覧threadが反応を得た理由は、数字そのものより再現性の議論だった。投稿は、ICLR 2026 accepted papersのうちpublic code、data、demo linkを持つ論文約1,200本を集めた一覧を紹介した。投稿者は、これは5,300本超のaccepted papersの約22%にあたり、linkはpaper submissionから直接抽出したものだと説明している。

Paper Digestのindexも、ICLR 2026が2026年4月22日にRio de Janeiroで始まることを示し、この一覧をaccepted researchへ素早く入るための入口として位置付けている。ただし重要な但し書きもある。indexはautomated extraction processで作られており、public resourceが漏れている場合がある。また、conference開始までrepositoryが完全公開されないこともある。

その但し書きが、threadの中心になった。ある研究者は、自分のaccepted paperにはpublic codeとfull reproducibilityがあるのに一覧に載っていないと書いた。別の利用者は、ランダムに開いた項目のGitHub linkが404だったと報告した。さらに、1,200個のrepositoryのうち、paperの結果を実際に再現できるものはどれだけあるのか、問題なく動くcodeはどれだけあるのかという問いも出た。「linkが含まれる」は「reproducible」と同義ではない。

このthreadの意味は、ICLRの成果を冷笑することではない。むしろmachine learning researchの公開が速くなるほど、公開性の基準も細かくなるということだ。link、license、dependency、data access、seed、training cost、evaluation script、checkpoint、maintenanceはすべて別の問題である。1,200本という数字はopen researchの前進を示す。一方でr/MachineLearningの反応は、次の問いを置いた。そのcodeは、他の研究者の環境で本当にもう一度動くのか。