研究& Innovation

史蒂文斯研究说,人类制作的AI最好识别假新闻

新的可解释的AI方法借鉴了以前的假新闻研究,检查了语言使用和源的可信度等因素

Computer keys that say

史蒂文斯团队开发了一种新的可解释的AI(XAI)框架,可以高精度地检测假新闻 - 这部分取决于人类专业知识。

与Mingxuan Chen和Ning Wang一起使用博士生,史蒂文斯教授和创始 AI研究中心 导演K.P. “Suba”Subbalakshmi. 提出了新的发现 在夏季计算机械的普及吉迪(知识发现和数据挖掘)的职业工作室协会。

“这里最重要的是模块化,”笔记 Subbalakshmi.,e教授lectrical和计算机工程。 “对于这项工作,我们纳入了”手工制作“的特征,在这个领域的定性研究已经指出,以及潜在的特征。不同的群体已经独立研究了这些手工制作功能的子集,但我们的方法提出了一种新的XAI模型,包括所有这些新的模型以模块化方式不同的特征,以便衡量他们从真正新闻检测假新闻的相对重要性。

“关于我们方法的关键问题是它是模块化的,这意味着,如果研究人员想要测试新的手工特征,他们应该能够将其插入此模型,最低重新设计。”

事实上,在通过社交媒体帖子的大型数据集上测试了几个版本的AI之后,该团队发现他们的最佳混合预测模型比11个现有的假新闻检测系统从谎言分开了。

“基本上,我们发现,世界上最好的方法,允许添加手工调整功能,实际上是最好的,”Subbalakshmi.说。

检测假新闻的三个步骤

团队AI的第一个组件只扫描并将所有书面内容进行编码为512维矩阵中的各种位置,使用单词作为指南的非常基本的特征。这是使用Google创建的开源通用句子编码器(使用)完成的,其中一个领先的工具。

该矩阵可以单独使用以检测假新闻,但他们发现这种“潜在的特征”方法没有工作以及包括“手工制作”特征的混合方法。

史蒂文斯教授K.P. “Suba”Subbalakshmi.

团队的AI的第二部分涉及包括手工制作的功能,例如“CONRITENTENCESCORE”和“VBG”测量动词使用的频率,描述性的丰富性和写作的其他方面。 AI将这些频率与潜在的真实性相关联。

重要的是,这些变量的数量可以根据需要单独调整研究员。 Subbalakshmi.的团队发现,这种所谓的“手工制作”部分AI被证明是最有价值,最准确的三个主要成员在帮助单独的真实方面。

“在AI中总是有辩论,关于系统是否应该完全自动和人为,或者是否应该允许人类专家影响因素的混合,”注意次级巴拉克姆。 “这项研究使人类影响成为必要和有益的案例。

包含的第三类功能涉及提取,分类和分析细节 关于 具体的人或帐户共享信息。 (例如,带有很少甚至没有追随者的推特账户可能不太可能是真实的。)

“它是一个全新的社交媒体账户,还是很长一段时间了?用户的身份是否已验证?它有多少朋友,有多少”最爱“它是什么?”问subbalakshmi。

“这就是这部分AI的看法,因为这些是一些数据点研究人员之前已经被确定在检测假新闻中可能有用。”

更好的透明度,增强细化

随着系统的预测,它还以大多数AI系统的方式分享到其决策的透明度。 Subbalakshmi.表示这一点至关重要,因为它有助于研究人员提高他们的方法。

“关于我们的AI很好的是它可以告诉你 哪一个 因素正在为您提供最佳表现,在检测任何输入示例中的真相,“她解释说。”例如,它可能会告诉您,从检查的所有这些手工业功能,语言的丰富性和通信的语气或情绪在做出这个推文的决定是错误的两个最有意义的因素。

“因此,如果您发现某些功能一致表现不佳,则可以在下次迭代中删除AI以提高其准确性。”

在工作的下一阶段,该团队将开始将图像分析纳入其假新闻系统 - 将加强AI的复杂性的移动,以及实现其预测所需的计算资源,但也可能会增加功率和准确性。

“没有魔法子弹来检测真相;你永远不会达到最终的胜利,因为欺骗者总是努力学习如何游戏你正在建造的检测系统,”Subbalakshmi.总结道。 “这总是一个猫和鼠标游戏。

“但是我们在这里开发和解释的系统是一个很好的下一个领域,我们相信,我们非常兴奋地将图像添加到下一个混音。”