AI代理发现科学文献中存在数十年之久的错误

编辑者: Svitlana Velhush

人工智能正日益被积极地应用于科学出版物和数据库的审核。近期的案例表明,AI代理是如何发现那些几十年来未曾被察觉的错误信息的。

杭州浙江实验室的理论化学家塞巴斯蒂安·皮奥斯(Sebastian Piros)利用AI模型预测分子的沸点。该系统得出的数值与一份75年前的参考手册中的数据相矛盾。皮奥斯最初怀疑是模型出了错,但对原始资料的核查却显示,错误的正是那些参考数据。

在其他案例中,AI还发现了一篇文章中的印刷错误以及百年以前的沸点测量值有误。皮奥斯表示,这些错误可能给研究人员在使用该数据库时带来了不少麻烦。

类似工具也被用于审查会议论文。在SAI实验室的一项分析中,AI代理审查了ICML 2026口头报告中的168篇论文。在92篇包含足够可验证主张的论文中,AI代理仅在34个案例中成功复现了五分之二以上的关键主张。只有在八篇论文中,AI才完全复现了80%以上的主张。

斯坦福大学的詹姆斯·邹(James Zou)及其同事开发了一款“AI校验器”,用于扫描NeurIPS的论文。论文中公式、计算和图表中的客观错误数量从2021年的每篇3.8个增加到2025年的5.9个,增幅达55%。这样的工具能够实现人类难以企及的大规模工作。

然而,专家们警告说:AI也会犯错。挪威科技大学的奥德·埃里克·冈德森(Odd Erik Gundersen)强调了人工干预的重要性。在自动化审核时代,我们又该如何确保科学知识的可靠性呢?

这项分析主要关注客观错误,而将创新性和重要性等问题留给人类来判断。这有助于避免AI因主观判断而过载。

43 查看

来源

  • AI agents are checking the scientific literature — and spotting decades-old errors

评论

阅读更多关于此主题的文章:

Korea Aerospace Industries says its AI module on the 12U BEE-1012 CubeSat, launched on Nuri Oct 7, passed an orbital pilot Oct 20. Given a simulated fault, it diagnosed cause and scope and sent back a fix plan. A main demo starts in December. Image Credit: Yonsei University

Image
Reply

Great paper from Anthropic on AI agents doing ML-for-science research. (bookmark it) If you build AI-scientist systems, this one is worth your time. They propose Agent4Sci, which gives frontier coding agents 20 scientific ML benchmarks across 11 domains and asks them to beat

Image
Reply
你发现了错误或不准确的地方吗?我们会尽快考虑您的意见。