新工具可检测人工智能制作的虚假科学论文

Binghamton大学的研究人员开发了一款名为 xFakeSci 的机器学习算法，专门用于 检测由生成式AI（如ChatGPT）生成的伪科学内容 。 这一技术尤其有效识别由生成式AI（如 ChatGPT）编写的学术文章，其成功率几乎是常规数据挖掘技术的两倍。 生成式AI（例如ChatGPT）可以生成看似真实但实际上是虚假的科学文章，给学术界带来了严重的可信度问题。传统的检测工具很难准确识别这些AI生成的文章，尤其是当这些内容与真实文章混合时。 传统的数据挖掘算法（如支持向量机、回归模型等）在检测AI生成内容时表现不佳，F1得分仅在38%到52%之间。xFakeSci通过一种新的校准和距离近似算法，显著提升了检测的准确性，F1得分范围在80%到94%之间。 研究人员分析了以下两大特征： 双字组合（Bigrams） ： 定义 ：双字组合是指两个词语频繁一起出现的词组，比如“气候变化”（climate change）或“临床试验”（clinical trials）。 对比分析 ：xFakeSci 发现，在真实的科学文章中，双字组合的数量相对较多，且组合的多样性较高。而在虚假文章中，双字组合的数量明显较少，但这些有限的双字组合却与文章中的其他概念和词语紧密关联。 词语与概念的关联模式 ： 虚假文章的特点 ：虚假文章中的双字组合虽然较少，但往往与其他部分的内容有广泛的联系。这是由于AI生成内容的局限性，AI更倾向于通过重复使用一些显著词语来增强文章的“可信度”，而非真实科学研究的广泛性和严谨性。 真实文章的特点 ：人类科学研究者的写作目的是准确报告研究过程和结果，而不是刻意“说服”读者。因此，真实论文中词语和概念的关联模式更复杂且多样。 写作风格差异 ： 生成式AI在生成学术文章时，往往试图通过使用显著的关键词和关键概念来“说服”读者，形成一种看似“深度探讨”的印象。但真实的科学文章更关注细致描述研究过程和数据分析，具有广泛性和客观性。 AI生成的文章往往在某一主题上做出过度集中和简单化的解释，而真实文章则提供更丰富的背景信息和多角度的探讨。 技术原理 xFakeSci使用一种叫 TF-IDF 的算法，来找到文章中哪些词最重要。它会看一个词在文章中出现的频率（词频），然后再对比它在整个数据集中的出现频率。出现次数多但在其他文章中少见的词就特别重要。这帮助xFakeSci挑出文章中的“关键字”来进行判断。 两种训练模式 xFakeSci可以用两种不同的数据训练自己： 单模式训练 ：只使用一种来源的数据，比如全部都是真实的科学文献，或者全部是AI生成的文章。这种方式适合处理简单的情况。 多模式训练 ：同时使用真实文献和AI生成的文章进行训练，适合应对复杂的混合内容，能更精准地分辨两者。 校准步骤 为了让结果更准确，xFakeSci会在训练之后进行一个 校准过程 。它会把数据分成几个小组（叫 k-Fold交叉验证 ），反复验证模型在不同的数据子集上是否表现稳定。这个步骤能帮助它避免过于“偏向”某一类数据，提高准确率。 距离算法 xFakeSci还使用一种 距离算法 来帮助判断文章的真假。简单来说，它会算出某篇文章和AI生成内容或真实科学文章的“距离”，离哪个更近就判断它属于哪一类。这个方法确保即使一些文章的特点不是特别明显，它也能做出较为准确的判断。 实验结果 检测准确率（F1得分） xFakeSci的F1得分在80%到94%之间，这意味着它能够非常准确地区分AI生成的伪科学内容和真实的科学文献。具体来说： 抑郁症数据集 ：F1得分为80% 癌症数据集 ：F1得分为91% 阿尔茨海默症数据集 ：F1得分为89% 这些得分远高于传统的算法，如支持向量机（SVM）、逻辑回归、朴素贝叶斯等，后者的F1得分仅在38%到52%之间。 超越传统算法 xFakeSci在多个实验中均显著优于传统的算法： 传统算法往往在识别真实的科学文献时会误分类，特别是在面对混合数据集时。而xFakeSci能够更好地处理这些挑战，正确识别真实文献并将AI生成的伪科学内容正确分类。 它的校准步骤和距离近似算法是其成功的关键，能够有效避免过拟合问题，使得模型在不同数据集和时间范围内都有较好的表现。 在Nature 《科学报告》期刊发表的一篇新论文中 ，Hamed 与中国合肥工业大学的教授吴信东合作，针对三大热门医学主题——阿尔茨海默症、癌症和抑郁症——分别创建了 50 篇伪造文章，并与相同主题的同等数量的真实文章进行了比较。 Hamed 说道，当他要求 ChatGPT 生成 AI 生成的文章时，“我尝试使用与从 美国国立卫生研究院的 PubMed 数据库 提取文献时相同的关键词，这样我们就有了一个共同的比较基础。我的直觉是，假世界与真实世界之间一定存在某种模式，但我不知道这种模式是什么。” 经过一些实验后，他将 xFakeSci 编程为分析论文写作的两个主要特征。其一是双词组的数量，双词组是指两个经常一起出现的词语，例如“气候变化”、“临床试验”或“生物医学文献”。其二是这些双词组在文本中与其他词语和概念的关联方式。 “第一个显著的发现是，伪造论文中的双词组数量非常少，而真实论文中的双词组则要丰富得多，”Hamed 说道。“此外，尽管伪造论文中的双词组很少，但它们却与其他内容高度关联。” Hamed 和吴信东推测，写作风格的差异是因为人类研究人员的目标与被要求撰写特定主题的 AI 的目标不同。 “由于 ChatGPT 仍然在知识上存在局限性，它会尝试通过使用最重要的词语来说服你，”Hamed 说道。“科学家的工作不是为了说服你，而是诚实地报告实验过程中发生的事情以及所使用的方法。ChatGPT 强调的是单点的深度，而真实的科学则注重广度。” 为了进一步开发 xFakeSci，Hamed 计划扩大研究主题的范围，看看这种显著的词汇模式是否适用于其他研究领域，超越医学领域，扩展到工程学、其他科学主题和人文学科。他还预测，随着 AI 技术的不断进步，区分真假内容将变得越来越困难。 “如果我们不设计出全面的解决方案，我们总是会处于追赶的状态，”他说道。“我们还有很多工作要做，去寻找一种通用模式或普遍的算法，而不依赖于使用哪种版本的生成式 AI。” 尽管他们的算法可以检测到 94% 的 AI 生成的论文，他补充道，这意味着仍有 6 篇伪造论文逃脱了检测：“我们需要对自己的成就保持谦虚。我们通过提高意识做了一件非常重要的事情。” 论文： https://www.nature.com/articles/s41598-024-66784-6

Menu

分类目录

新工具可检测人工智能制作的虚假科学论文

Related Posts

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话

微软开源了一款金融市场预测工具 MarS 能够实现逼真的市场模拟

MidJourney 推出个性化档案和情绪版新功能记住你的风格喜好

Google视频和图像生成模型更新包括Veo 2、Imagen 3和一个新工具Whisk

Google发布 2024年值得关注的Chrome扩展程序

Xai 发布 Grok-2 模型新版本速度提升3倍多语言指令遵循能力更强

Recommendeds

EVE：一个视频编辑模型无需训练可对视频进行精准编辑

使用Midjourney将角色放到杂志、海报等各种场景里

Anthropic 的研究人员发现了打开AI模型“黑盒子”的方法

Google DeepMind 公布其NotebookLM背后的创新音频生成技术使 AI 能够生成更加自然的对话

g1: 在 Groq 上使用 Llama-3.1 70b 创建类似OpenAI o1 的推理链

字节跳动发布AI开发工具：豆包MarsCode 无需配置环境实现云端编码开发

Mixtral 8X22B：更便宜、更好、更快更强的数学和编码能力

IC-Light 升级为IC-Light V2-Vary 可更灵活地调整光源位置和强度

SAMPLE：自动化蛋白质设计系统自己设计和测试新的蛋白质

Runway Gen-3 Alpha 详细使用教程以及提示词指南大全

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

新工具可检测人工智能制作的虚假科学论文

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?