r/MachineLearningのself-postには、research toolingの次の方向を考えるうえで興味深いprototypeが出てきた。投稿した2人の学生は、projectやliterature reviewのたびに、互いに逆の主張をしているpaperが後から見つかる問題に悩まされていたという。両方を偶然読まなければ気づけないなら、その矛盾を検索結果の外で自動的に見つけられないか、というのが出発点だ。

仕組みは比較的分かりやすい。systemはpaperを読み、「X improves Y」「X reduces Y」「X enables Y」のようなcausal claimを抽出し、それをrelationship graphとして保存する。別のpaperが逆向きの主張をしていれば、それをflagしてside by sideで見せる。投稿者によれば、ある教授のpublication list約50本に試したところ、abstractだけでは見落としそうなconflicting findingsを実際に発見できたという。

現在の構成

Python / FastAPI backend
React frontend
Neo4j graph database
OpenAlexによるpaper data取得
LLMによるclaim extraction

この構成が面白いのは、文献ツールの中心をretrievalからrelationship analysisへ移している点だ。paperを探すこと自体はすでに多くのsearch systemが得意としている。より難しいのは、2つのstudyがどこで食い違っているのかをkeywordではなくclaimのレベルで見せることだ。もしこの種のtoolが十分に信頼できる水準に近づけば、研究者は実験計画やrelated work整理の前に、争点になっている知見を早い段階で把握できるようになる。

もちろん投稿者は限界も明確にしている。claim extractionでは文中の条件が落ちることがあり、systemが奇妙なhypothesisを提案することもあり、domain filteringもまだ改善が必要だという。また、architectureの一部は探索的なvibe codingで育ったとも率直に認めている。だからこのprototypeの価値は、科学的矛盾を今日確定判定できることではなく、literature reviewをclaim graphの問題として扱えるかを試している点にある。

実運用で鍵になるのはtrustだ。矛盾ラベルは、evidenceの文脈が保たれていて初めて役立つ。dataset, setup, measurement, assumptionが違えば、表面上は逆の主張でも両立し得る。それでも、このReddit投稿はresearch toolingがrankingやretrievalを超えつつあることを示している。LLM, graph database, structured metadataを使って、研究者が不一致そのものを直接点検できるかどうか。その方向性を見せる試みとして十分に意味がある。

#claim-extraction

r/MachineLearningの論文矛盾検出プロトタイプ、paper searchをclaim graphへ拡張する