r/MachineLearningで注目を集めた短い投稿は、conference reviewが直面し始めた厄介な問題をよく表している。投稿者は、no-LLM assistant規定のあるICML submissionをレビュー中だが、そのpaperがまるで“Twitter hype thread”のように読め、実質的に全面AI執筆に見えると述べた。そして、この場合はArea Chairにflagすべきか、それだけでreject理由になるのか、それとも研究自体は人間でwritingだけが自動化されたと善意に解釈すべきかを問いかけた。

コメント欄の答えはかなり率直だった。上位の反応はほぼ同じで、ACに報告し、短いreviewを書き、最低評価を付けて先に進めというものだ。読みにくくて時間を奪うpaperなら、それだけで実務上のreject理由になるという意見も多い。研究の質とwriting processは理論上は分けて考えられるという声もあったが、問題のtrackではLLM使用が禁止されている以上、まずはpolicy violationとして扱うべきだという見方が優勢だった。

このスレッドが興味深いのは、特定のpaperが本当にAI執筆だったと証明しているからではない。外部からそれを独立に確認することはほぼ不可能だ。むしろ見えてくるのは、policy enforcementの負担がすでに過重なreviewerへ押し付けられているという現実だ。reviewerは新規性、厳密さ、明確さだけでなく、submission processそのものの正当性まで推測しなければならなくなっている。

つまりこれはwriting qualityの問題であると同時に、conference operationsの問題でもある。writing styleがpolicy signalとして機能し始めると、peer reviewは明確な証拠線のないauthenticity checkにもなる。主要学会がno-LLM規定を維持したいなら、報告経路と疑義処理の基準をもっと構造化しない限り、同じ摩擦は繰り返されるだろう。出典: r/MachineLearning discussion。

#llm-writing

r/MachineLearningでは、全面的にAIで書かれたように見えるICML投稿への反発が広がった