OpenAI Astraの数学成果10件中2件、2016年・2019年の先行研究帰属に疑義…論文修正へ

「長年進展のなかった問題を解いた」とされた10件の数学成果のうち2件で、先行研究の扱いが争点になった。 OpenAIの未公開LLM「Astra」が内部開発と試験の過程で生み出した結果を、数学者が約250ページの論文として精査したところ、中心的なアイデアが近年の文献にすでに存在していたことが分かった。Scientific Americanが8月6日に報じた内容によると、OpenAIは「主要結果に少なくとも10年間進展がなかった」とする当初の説明を、すでにより正確な表現へ修正した。

争点になった2つの成果

一つ目は、1,000次元以上の空間で球をどこまで密に詰められるかという問題だ。Astraの証明は従来の最良推定を改善したが、Yeshiva Universityの数学者Steven Millerは、証明の中心となる論法が自身と共同研究者による2016年の論文で初めて示されたものだと指摘した。モデル独自の方法であるかのように提示されたとして、研究公正上の問題だと批判している。

二つ目は、すべての群がより単純な群で忠実に近似できるかを問うsoficity問題である。Astraはsoficでない群を少なくとも一つ構成した。しかしUniversity of CambridgeのFrancesco Fournier-Facioらは、決定的な段階が2016年と2019年の論文にあるアイデアを組み合わせたものだと分析した。結果そのものが無価値という話ではない。2019年論文の共著者Andreas Thomも、その構成を創造的でありながら初等的だと評価している。問題は、人間による最近の進展が不可欠だったにもかかわらず、当初の説明がそれを見えなくした点にある。

$2,000の計算費用に含まれない仕事

OpenAIによれば、10件すべての総トークン費用は$2,000だった。推論費用の低さは目を引くが、それだけで信頼できる研究発表にはならない。文献調査、着想の系譜確認、正確な引用、専門家による検証には別の手間と責任が必要だ。モデルが実在する論文を探し、複数の方法を組み合わせられても、どこまでが新規で、どこからが先行研究なのかを示す責任は発表する人間と組織に残る。

OpenAIの広報担当者は、結果の正確性に責任を持ち、人間の数学者に求められる基準を適用していると回答した。同社は通常の学術慣行に沿って論文を小幅に更新する予定でもある。次に確認すべき点は、改訂版が2つの論法の由来をどう記載するか、残る8件も同じ水準の文献検証に耐えるかだ。AIが高度な数学研究に加わるなら、証明の正しさだけでなく、新規性の主張と引用も専門家の検証を通過しなければならない。