r/MachineLearningで議論、ICMLのno-LLM review違反への対応
Original: [D] ICML rejects papers of reviewers who used LLMs despite agreeing not to View original →
2026年3月18日、r/MachineLearning で「[D] ICML rejects papers of reviewers who used LLMs despite agreeing not to」という投稿が上位に上がり、このクロール時点で184 points、70 commentsを集めた。元投稿はICMLの公式発表に直接つながっているわけではなく、X上で流れていた報告をもとに、no-LLM review track を選んだ reviewer-author の papers が reject されたという話を共有している。この違いは重要だ。このスレッドは公式アナウンスそのものというより、reported enforcement をめぐる community discussion として読むのが適切だ.
ICMLの公式文書が書いていること
- ICML 2026 Reviewer Instructions では、reviewer ごとに従うべき actual LLM policy が割り当てられ、その assigned policy から逸脱すると自分の submissions が desk rejection されうると明記されている.
- 同じ文書は、Position Paper Track の reviewing は conservative no-LLM policy に従う必要があるとも書いている.
- ICML Peer-review Ethics では、LLM policy の違反を reviewer duty neglect の一部として扱い、同じ author の全 submissions に対する desk rejection の理由になりうるとしている.
- さらに authors による prompt injection は禁止しつつも、reviewer の LLM use を検出するためだけの canary 的な文言を含む paper については penalize しないと説明している.
この点があるため、コメント欄では generic AI detector より prompt-injection canary の話が中心になった。2026年2月の別の r/MachineLearning thread では、PDF に埋め込まれた隠し文字列が compliance check の仕組みではないかという報告が出ていた。今回の3月の議論でも、こうした canary は文体ベースの AI detection よりはるかに信頼できるという意見が目立った。確率的な推定ではなく、特定の文言が review に現れたかどうかを見る deterministic marker に近いからだ.
Reddit議論が収束した点
- 高評価コメントの多くは、reviewer が明示的に no-LLM policy に同意していたなら厳格な執行は妥当だと見ていた.
- 別の意見では、問題は LLM が有用かどうかではなく、自分で選んだ rule を reviewer が破ったときに conference governance が成り立つかどうかだと整理されていた.
- 最も同情的に語られていたのは coauthor risk で、1人の違反で共著者全体が不利益を受ける可能性だ.
このスレッドが重要なのは、単なる conference gossip を超えているからだ。AI conference は review-time LLM use を将来の曖昧な論点としてではなく、実際の enforcement mechanism、reviewer acknowledgement、desk rejection language を伴う現在の integrity issue として扱い始めている。すべての reported case が公開の場で確定されるかどうかとは別に、policy の向かう方向はかなり明確になっている。
出典: r/MachineLearning discussion · ICML 2026 Reviewer Instructions · ICML 2026 Peer-review Ethics · earlier Reddit thread on PDF canaries
Related Articles
r/MachineLearningで共有された新しいarXiv論文は、非公式のmodel access providerが研究結果と運用上の信頼性の両方を揺るがすと指摘している。
Google DeepMindは2026年3月17日、AGIへの進捗を評価するための新しいcognitive scienceベースのframeworkを公開し、それを実用benchmarkへ落とし込むためのKaggle hackathonを開始した。10のcognitive abilityを定義し、human baselineとの比較を推奨し、community-built evaluationに総額20万ドルの賞金を設定している。
2026年3月19日にHacker Newsで注目を集めたagent-satは、weighted MaxSAT benchmarkを相手にAIエージェントが実験とコード改良を繰り返すopen-source projectだ。READMEによれば、2024 MaxSAT Evaluationの229インスタンス中220件を解き、5件でcompetition bestを上回り、1件はnovel solveだという。
Comments (0)
No comments yet. Be the first to comment!