GPT4一眼看穿论文会不会撤稿：7000篇实测准确率达95% AI预警科研诚信！人大、浙大学者团队利用GPT-4进行撤稿预测，与人类审稿结果惊人相似！

近期一项由中国人民大学与浙江大学学者组成的团队开展的研究中，他们大胆尝试将论文撤稿预测的任务交予AI语言模型GPT-4，其预测结果与人类审稿人的判断展现出近95%的相似性。

研究者们将包含数千篇SCI/SSCI期刊论文的10000多条相关推文输入GPT-4，要求其根据推文内容判断论文是否存在被撤稿的风险。对比结果显示，GPT-4在此项任务上的表现近乎完美。

尽管近期ChatGPT等大型语言模型生成内容被直接用于论文正文，引发了学术不端问题的担忧，但此项研究揭示：大模型不仅可能引发问题，更具备维护科研诚信的潜力。

论文主要作者Er-Te Zheng指出：“关键在于如何恰当地运用AI工具服务于学术研究。”

推文预示撤稿可能性

研究团队首先探究了推文本身对于预测论文撤稿的可行性。现实中，不少存在问题的论文正是在社交平台如推特上引发热议，继而遭撤稿，如近期备受争议的AI绘制小鼠插图论文事件。

为验证推文预测能力，团队构建了一个包含3505篇已撤稿论文及其对应特征（如发表期刊、年份、作者数、推文数）的数据库，并通过粗糙精确匹配法找到了3505篇未撤稿论文作为对照。

通过推特API，团队收集了这7010篇论文的所有推文数据，包括发布日期和文本内容。在筛选出撤稿前发布的推文后，共得到涉及撤稿论文的8367条英文推文和涉及未撤稿论文的6180条英文推文。

研究将推文划分为训练集与测试集，训练模型并评估人工预测、关键词方法、机器学习模型及ChatGPT的预测准确性。

人工预测结果显示，当研究者依据推文判断论文存在问题时，该论文实际被撤稿的概率高达约93%，证实部分推文确实具有预测撤稿的能力。然而，这类能通过推文预测撤稿的论文仅占所有撤稿论文的16%左右。

研究揭示，两类批评性推文对预测撤稿尤为有效：一类直指论文中的错误或学术不端行为；另一类以批评或讽刺的方式质疑论文质量。这些推文可能触发期刊对论文展开调查，一旦问题得到确认，论文便可能被撤稿。由此，批评性推文被视为科研诚信早期预警系统的重要组成部分。

GPT-4预测准确率媲美人类

鉴于推文具有预测撤稿的潜力，研究者进一步评估了关键词方法、多种机器学习模型及ChatGPT在基于推文预测撤稿方面的表现，并将它们与人工预测结果进行比较。

结果显示，GPT-4的整体预测一致性最为接近人类，高达约95%。紧随其后的是GPT-3.5和SVM模型，一致性超过80%。相比之下，关键词方法及其他机器学习模型的一致性仅在47%-64%之间，预测效果一般。

在精确率方面，GPT-4再次独领风骚：其预测撤稿的论文中，近70%经人工预测同样为撤稿，显著优于其他模型。上图直观展示了各模型预测结果与人工预测结果的对比。

关键词方法及LR、RF、NB等机器学习模型常将大量人工判断为非撤稿的论文误判为撤稿。相比之下，GPT-4的预测结果与人工预测最为吻合：大部分GPT-4预测撤稿的论文，人工亦判断为撤稿；反之，大部分GPT-4预测非撤稿的论文，人工判断同样为非撤稿。

ChatGPT：提供预测理由的独特优势

相较于其他方法，ChatGPT的一大优势在于能为预测提供理由，而其他方法无法详尽解释其决策过程。如样本论文所示，ChatGPT对推文理解深入，能精准提炼可能预示撤稿的关键信息，为评估论文潜在问题提供了宝贵支持。

然而，ChatGPT有时会出现“幻觉”现象，即生成不恰当的输出，导致错误预测。如样例论文3中，相关推文评价该论文质疑了某诺贝尔奖得主的工作。但ChatGPT误解为论文本身属于被质疑的诺贝尔奖得主，从而错误预测其可能被撤稿。此案例揭示了ChatGPT存在逻辑推理谬误与过度解读等问题。

尽管如此，ChatGPT凭借其出色的撤稿预测能力与高度的人工一致性，展现了生成式人工智能在推动科研诚信方面的巨大潜力。同时，研究也揭示了社交媒体讨论在论文撤稿预警中的重要作用。

网友对此研究反响热烈，纷纷惊叹于使用ChatGPT预测论文撤稿这一前所未有的思路，更有网友表示对研究结论的可靠性感到惊喜，原以为缺乏足够的数据支撑。

综上所述，该研究揭示了社交媒体讨论作为论文撤稿预警工具的潜力，以及ChatGPT等生成式AI在科研诚信领域的潜在应用价值。参与研究的学者包括：

- Er-Te Zheng（郑尔特），中国人民大学信息资源管理学院硕士生，导师为Zhichao Fang助理教授。其本科毕业于浙江大学，师从Hui-Zhen Fu副教授，研究方向涵盖计算社会科学、科学学和科学计量。 - Hui-Zhen Fu（付慧真），浙江大学公共管理学院信息资源管理系副教授，北京大学博士，现任信息资源管理研究所副所长，曾为荷兰莱顿大学科学技术研究中心（CWTS）访问学者。研究专长为交叉科学、科学计量、科研诚信和科研管理，已在国际权威期刊发表逾40篇SCI/SSCI论文，连续四年（2020-2023）入选爱思唯尔中国高被引学者榜单。 - Zhichao Fang（方志超），中国人民大学信息资源管理学院助理教授，荷兰莱顿大学科学与技术研究中心（CWTS）博士，现为莱顿大学CWTS客座研究员及伊朗波斯湾大学社交媒体数据研究组成员。其研究领域包括科学学、科学计量与社交媒体计量学，在科学计量学与科技政策领域已发表20篇SCI/SSCI论文。