研究人员测试AI生成内容的检测方法

人工智能生成器可以制作模仿人类作者的文本,从而改善了在医疗聊天,在线客户服务和虚拟心理治疗会话等平台上的用户体验。

通常,这些现实文本难以区分人类产生的。但由于这些技术变得更加复杂和普遍,因此欺诈性使用的机会也是如此。

努力打击恶意使用这些神经文本发电机 - 例如,对宾夕法尼亚州州立媒体的敌人发行假新闻 - 研究人员 信息科学与技术学院 分析了八种不同,最先进的自然语言生成器(NLG),以识别各个是否具有可以通过机器分类器发现的不同写作风格。

“想象一下,我们在近千个不同的机器作家中间包围的不久的将来,每个初始数据都经过培训,并且能够产生高质量的文本,无论是新闻文章,坐在文章或市场分析报告,巧妙不同的款式,“说 东武李,信息科学副教授和该项目的主要调查员。 “那么,能够首先要说,它变得非常重要,这是由机器作家编写的文本,这是由人工作家写的;其次,其中,哪种文本是由数千个候选机器作家中的机器作家写的。我们的项目,反向图灵测试,正试图解决这些挑战。“

根据研究人员的说法,当前用于区分从人写的机器生成的文本的方法 - 被称为图灵测试 - 可能是不够的。相反,更关键的解决方案是确定作者归属,一种寻求确定许多候选者中的自然语言生成方法的方法已经生成了有问题的给定文本。

研究人员调查了一个人作家和八个神经机发生器之间的三个版本的作者归属版本,包括Ctrl,GPT,GPT2,GROVER,XLM,XLNET,PPLM和公平。他们最近发表了1000多个最近发表的政治新闻标题和内容从媒体网点代表人写的文本,并为每个生成器提供了来自当前政治标题的相同提示消息,从而从每个政治标题中生成相同数量的文章。然后,与其他现有机器分类器相比,它们开发了五种简单的神经模型以在其三个实验中用作基线。

在他们的实验中,研究人员首先测试了几种检测模型,以确定是否通过相同的方法产生了两个单独的文本 - NLG或人。然后,他们测试了每个模型的能力,以检测人类和机器写作之间的差异。最后,他们测试了模型如何利用人员和机器着作中的相似性和差异,以确定哪些NLG方法产生了特定的文本。

“了解每个发电机的写作签名或风格让我们更接近淬火他们可以介绍的安全威胁,”研究人员写在纸纸上。

通过全面的实验,研究人员发现并非所有神经文本生成方法都会创造出高质量的人体模仿文本。大多数发电机都能够被归类为拥有由机器编写的文本,只需查看文本中的单词计数和语言功能。

“我们弄清楚了一般的机器文本并不像人类那样复杂,因为你很明显,”信息科学和技术的博士生博士生。 “当人类写作时,他们不会在多个连续句子开始时使用”the'这个词;他们会使用一些过渡词。机器并不真正这样做,他们直接到了这一点。“

然而,其他NLG模型 - 例如格罗弗,GPT2和公平 - 原来在所有三个实验中区分和经常混淆的机器分类器更难以更加困难。

“我们知道,随着更多的语言模型,包括更复杂的模型 GPT3 这是通过每个人的期望,弄清楚一个机器是否生成了一篇文章,这将更加困难,“Uchendu说。 “所以,我们必须进一步改善我们的检测模型。”

她补充说:“这项工作的最终目标是[希望]在一篇文章中强制执行一些指出它是机器所产生的文章。如果人们知道,那么当一篇文章是生成的机器时,他们可以做更多的事实检查。“

还在项目上合作是泰国LE,博纳国家信息科学和技术的博士生;伊利诺伊州理工学院助理教授Kai Shu。他们在2020年11月在自然语言处理(EMNLP)中展示了他们在旗舰NLP会议的工作 - 实证方法。



本新闻稿中的材料来自于始发的研究组织。可以为样式和长度编辑内容。有一个问题? 让我们知道.

订阅

每天早上有一封电子邮件,我们的最新帖子。从医学研究到空间新闻。环境的环境。技术物理学。

感谢您的订阅。

出问题了。