科学論文やデータベースの検証において、人工知能の活用がますます活発化している。最近の事例では、AIエージェントが数十年もの間見過ごされてきた不正確な情報を発見している。
杭州の浙江ラボに所属する理論化学者セバスチャン・ピオス氏は、分子の沸点を予測するためにAIモデルを適用した。そのシステムが提示した値は、75年前の参考書に記載されているデータと矛盾していた。当初、ピオス氏はモデルの誤りを疑ったが、元の情報源を検証した結果、誤っていたのは参考書のデータの方であることが判明した。
他のケースでは、AIが論文中の誤植や、100年前の沸点測定値の誤りを発見した。ピオス氏によると、これらの誤りはデータベースを利用する研究者にとって多くの問題を引き起こす可能性があったという。
同様のツールは、学会発表論文の監査にも利用されている。SAI Labsの分析では、AIエージェントがICML 2026の口頭発表論文168件を検証した。
検証可能な主張が十分に含まれる92件の論文のうち、主要な主張5つのうち2つ以上を再現できたのはわずか34件だった。主張の80%以上を完全に再現できたのは、わずか8件の論文にとどまった。
スタンフォード大学のジェームズ・ツォウ氏らは、NeurIPSの論文をスキャンする「AIチェッカー」を開発した。その結果、数式、計算、図表における客観的な誤りの数は、2021年の1論文あたり3.8件から2025年には5.9件へと増加し、55%の成長を示した。このようなツールは、人間には不可能な規模での作業を可能にする。
しかし、専門家はAIもまた誤りを犯すことを警告している。ノルウェー科学技術大学のオッド・エリック・グンダーセン氏は、人間の監視の必要性を強調する。自動化された検証の時代において、科学的知識の信頼性をどのように確保すればよいのだろうか？
この分析は客観的な誤りに焦点を当てており、新規性や重要性に関する問いは人間の判断に委ねられている。これにより、AIが主観的な判断で過負荷になることを避けることができる。
