AI工具欧义极大提升科学产出

本报讯 一项近日发表于《科学》的工具研究指出，像ChatGPT 这样的提升人工智能（AI）工具正在大幅增加论文产量。但也有不利的科学欧义一面，AI生成的产出文本虽然文笔流畅，却并没有增加多少科学价值。工具此类文本数量的提升不断增加，使同行评议、科学资金决策和科研监督变得复杂，产出因为越来越难区分有意义的工具研究成果和低价值的内容。

自2022年末ChatGPT广泛投入使用后，提升许多研究人员都表示，科学可以借助这些新工具完成更多工作。产出与此同时，工具欧义期刊编辑们发现，提升文笔流畅但没有多少科学价值的科学投稿数量激增。

为了探究大语言模型（LLM）如何影响科学出版，美国康奈尔大学的尹易安（音）团队收集了2018年1月至2024年6月arXiv、bioRxiv 和社会科学研究网（SSRN）这3个主要预印本平台公布的200 多万篇论文，涵盖了物理科学、生命科学和社会科学领域。这些论文尚未经过同行评议。研究人员将其中2023 年前据推测由人撰写的论文与AI生成的文本进行了比较。通过对比，他们构建了一个模型，旨在标记可能借助LLM撰写的论文。利用这个检测器，他们估计了哪些作者可能使用LLM 进行写作，并追踪了这些科学家利用AI工具前后投递的论文数量及是否被科学期刊接收。

研究结果表明，使用LLM可以显著提升科研生产力。在arXiv上，被标记为使用了LLM的科学家公布的论文数量比那些未使用AI的科学家多出约1/3，而在bioRxiv和SSRN上，这一增幅超过了50%。特别是对于那些英语非母语的科学家来说，这种提升尤为显著。例如，使用LLM的亚洲机构研究人员比未采用该工具的研究人员，在不同预印本网站公布的论文数量多了43.0%~89.3%。尹易安预计，这最终可能改变全球科研生产力格局，使那些因语言障碍而受阻的地区迎头赶上。

该研究还指出，在文献检索和引文构建方面，AI工具可能具有潜在优势——它们在呈现较新论文和相关书籍方面比传统搜索工具表现更佳。“使用LLM的人能够接触更多样化的知识，这或许能激发更多富有创意的想法。”论文第一作者Keigo Kusumegi说。

尽管LLM能帮助人创作出更多的手稿，但也让人更难以判断哪些是真正高质量的科学研究。尹易安表示，这种写作质量与研究质量之间的差距可能会产生严重后果。编辑和审稿人可能更难识别出最具价值的投稿，而大学和资助机构可能会发现，单纯的发表数量已不能反映科学贡献。

研究人员强调，这些发现是观察性的结果。下一步，他们希望采用控制实验等方法来测试因果关系。（徐锐）

相关论文信息：

https://doi.org/10.1126/science.adw3000

很赞哦!（5）