神经科学是保护人工智能免受对抗性攻击的关键吗?

9分钟阅读
对抗性攻击计算机视觉

这篇文章是我们yabet468.cc人工智能研究论文综述,一系列探索人工智能最新发现的一系列职位。www.yabovip4

从过去只能识别支票和信封上的手写字符开始,深度学习已经取得了长足的进步。如今,深度神经网络已经成为许多技术的关键组成部分计算机视觉的应用程序从照片和视频编辑器到医疗软件和自驾

神经网络大致仿照了大脑的结构,它更接近于像我们人类一样看待世界。但它们还有很长的路要走,会在人类永远不会犯错的情况下犯错。

这些情况,通常被称为对抗例子以令人困惑的方式改变AI模型的行为。对抗性机器学习是当前人工智能系统面临的最大挑战之一。www.yabovip4它们可能导致机器学习模型以不可预测的方式失败或成为容易受到网络攻击

AI普发拉利示例熊猫长臂猿
对抗性的例子:在这张熊猫图片上添加一层难以察觉的噪声,会导致卷积神经网络误以为它是长臂猿。

创建对抗对抗攻击的有弹性的AI系统已成为一个活跃的面积研究也是人工智能大会上的热门话题。在计算机视觉在美国,保护深度学习系统免受对抗式攻击的一个有趣方法是应用神经科学的发现,以缩小神经网络和哺乳动物视觉系统之间的差距。

利用这种方法,麻省理工学院(MIT)和麻省理工- ibm沃森人工智能实验室(MIT- ibm Watson AI Lab)的研究人员发现,直接将哺乳动物视觉皮层的特征映射到深层神经网络上,就能创造出行为更可预测、对抗干扰更强大的人工智能系统。一篇论文中在BiorXiv预印刷机上发布,研究人员介绍了vonenet,这是一种与神经科学启动的神经网络相结合的电流深层学习技术的架构。

这项工作在慕尼黑大学、路德维希·马克西米利安大学和奥格斯堡大学的科学家的帮助下完成,并在今年举行的著名人工智能年度会议之一NeurIPS 2020上获得了认可。

卷积神经网络

目前计算机视觉的主要架构是卷积神经网络(CNN)。当多个卷积层相互堆叠时,可以训练多个卷积层,从图像中学习和提取层次特征。较低的层会找到一般的模式,如角和边,而较高的层会逐渐熟练地找到更具体的东西,如对象和人。

神经网络特征的可视化
每个神经网络层将从输入图像中提取特定特征。

与传统的完全连接的网络相比,ConverNets已被证明是更强大和计算效率。然而,仍然存在CNN和人类视觉系统过程信息之间的根本差异。

“特别是深度神经网络(特别是卷积神经网络)出现了视觉皮层的令人惊讶的良好模型,令人惊讶的是,它们倾向于比在为解释神经科学数据中量身定制的计算模型而从大脑中收集的实验数据,“IBM MIT-IBM Watson Ai Lab的IBM David Cox曾告诉智能.“但不是每个深度神经网络都同样与大脑数据相匹配,并且大脑和DNN的不同之处在于存在一些持久的空白。”

这些缺口中最突出的是对抗性的例子,在这些例子中,微小的扰动,如一个小块或一层难以察觉的噪声,都可能导致神经网络对其输入错误分类。这些变化大多是肉眼无法察觉的。

AI逆势攻击停止标志
人工智能研究人员发现,通过在停车标志上添加黑色和白色的小贴纸,他们可以让计算机视觉算法看不到它们。

“可以肯定的是,愚弄dnn的图像永远不会愚弄我们自己的视觉系统,”Cox说。此外,dnn对于图像的自然退化(例如,添加噪声)是异常脆弱的,因此一般来说,鲁棒性似乎是dnn的一个开放性问题。考虑到这一点,我们认为这是一个寻找大脑和dnn之间差异的好地方,可能会有所帮助。”

考克斯一直在探索神经科学和人工智能的交叉www.yabovip4从本世纪初开始,当时他是麻省理工学院神经科学教授詹姆斯·迪卡洛的学生。从那以后,两人继续合作。

“大脑是一个令人难以置信的强大且有效的信息处理机器,并且询问我们是否可以从中学习新技巧,这是令人烦人的,这是可以用于实际目的的新技巧。与此同时,我们可以使用我们所知道的人工系统,提供指导理论和假设,可以建议实验,帮助我们了解大脑,“Cox说。

脑的神经网络

大卫科克斯
麻省理工学院-IBM沃森人工智能实验室主任David Cox说

对于新的研究,Cox和Dicarlo加入了Joel Dapello和Tiago Marques,纸的主要作者,看看神经网络是否变得更加强壮对对抗性攻击的激活,当他们的激活与大脑活动类似。AI研究人员测试了几个受欢迎的CNN架构培训ImageNet数据集,包括AlexNet、VGG和ResNet的不同变体。它们还包括一些经过“对抗性训练”的深度学习模型,在这个过程中,神经网络对对抗性例子进行训练,以避免对它们进行错误分类。

科学家评估了人工智能模型使用“BrainScore”指标该研究比较了深层神经网络的激活和大脑中的神经反应。然后,他们通过在白盒对抗攻击(攻击者完全了解目标神经网络的结构和参数)中测试每个模型的稳健性。

“令我们惊讶的是,一个模型越像大脑,系统就越能抵御对抗性攻击,”考克斯说。“受此启发,我们提出了一个问题,是否有可能通过在网络的输入阶段添加一个基于神经科学实验的更逼真的早期视觉皮层模拟,来提高鲁棒性(包括对抗鲁棒性)。”

神经网络对抗鲁棒性
研究表明,大脑得分较高的神经网络对白盒对抗性攻击的抵抗力更强。

VOneNet和VOneBlock

为了进一步验证他们的发现,研究人员开发了VOneNet,这是一种混合深度学习架构,将标准cnn与一层受神经科学启发的神经网络结合起来。

VOneNet用VOneBlock取代了CNN的前几层,VOneBlock是一种模仿灵长类动物初级视觉皮层的神经网络结构,也被称为V1区。这意味着图像数据在传递给网络的其他部分之前,首先由VOneBlock处理。

VoneBlock本身由A组成Gabor滤波器银行(GFB),简单且复杂的细胞非线性和神经元随机性。GFB类似于其他神经网络中的卷积层。但是,虽然经典神经网络从随机参数值开始并在训练期间调整它们时,但基于我们知道主视觉皮质中的激活,确定GFB参数的值。

voneblock架构
VOneBlock是一种模拟初级视觉皮层功能的神经网络结构

“GFB的权重和VOneBlock的其他架构选择是根据生物学设计的。这意味着我们对VOneBlock所做的所有选择都受到了神经生理学的限制。换句话说,我们设计的VOneBlock尽可能模仿灵长类的初级视觉皮层(V1区)。我们考虑了过去40年从几项研究中收集的可用数据,以确定VOneBlock参数,”Tiago Marques博士说,他是麻省理工学院PhRMA基金会博士后研究员,也是该论文的合著者。

蒂亚戈品牌
Tiago Marques,Phd,Phrma Foundation Postdoctoral Contore Contoral at mit

虽然不同灵长类动物的视觉皮层存在显著差异,但也有许多共同特征,尤其是V1区。“幸运的是,灵长类动物之间的差异似乎很小,事实上,有很多研究表明,猴子的物体识别能力与人类相似。在我们的模型中,使用了已发表的描述猴子V1神经元反应的可用数据。虽然我们的模型仍然只是灵长类V1的一个近似值(它不包括所有已知的数据,甚至这些数据也有些有限——关于V1的处理过程,我们仍然有很多不知道的地方),但这是一个很好的近似值,”马奎斯说。

除了GFB层,VOneBlock中的简单和复杂细胞给神经网络提供了在不同条件下检测特征的灵活性。马奎斯说:“最终,物体识别的目标是独立于物体的确切形状、大小、位置和其他低级特征来识别物体的存在。”“在VOneBlock中,似乎简单细胞和复杂细胞在支持不同图像扰动下的表现方面发挥着互补的作用。简单细胞对于处理普通腐败尤为重要,而复杂细胞则具有白盒式对抗攻击。”

VOneNet在行动

VOneBlock的优势之一是它与当前CNN架构的兼容性。“VOneBlock的设计具有即插即用功能,”Marques说。这意味着它直接取代了标准CNN结构的输入层。遵循VOneBlock核心的过渡层确保其输出可以与CNN架构的其余部分兼容。”

研究人员将VOneBlock插入到几个CNN架构中,这些架构在ImageNet数据集上表现良好。有趣的是,这一简单块的添加极大地提高了白盒对抗性攻击的健壮性,并优于基于训练的防御方法。

研究人员在论文中写道:“在标准CNN架构的前端模拟灵长类初级视觉皮层的图像处理,显著提高了它们对图像扰动的稳稳性,甚至使它们的表现超过了最先进的防御方法。”

VOneNet敌对的鲁棒性
实验表明,已经修改的卷积神经网络包括包括伏块的抗坏阻力更具弹性。

“我们在这里添加的V1模型实际上相当简单——我们只改变了系统的第一阶段,而保持网络的其余部分不变,这个V1模型的生物保真度仍然相当简单,”Cox说,他补充说,我们还可以为这个模型添加更多的细节和细微差别,使其更好地匹配已知的大脑信息。亚博ios彩票

“简单性是在某种程度上的力量,因为它隔离了一系列可能重要的原则,但探索生物保真度的其他维度可能很重要,这将是有趣的,”他说。

该论文挑战了过去几年在AI研究中变得过于常见的趋势。而不是应用关于他们研究中的大脑机制的最新调查结果,许多AI科学家通过利用巨大计算资源和大型数据集的可用性来培训更大和更大的神经网络的可用性来推动该领域的进步。正如我们之前在这些页面中讨论过的那样,这种方法对AI研究提出了许多挑战

VOneNet证明了生物智能仍有许多未开发的潜力,可以解决人工智能研究面临的一些基本问题。这里展示的模型直接来自灵长类神经生物学,确实需要更少的训练来实现更像人类的行为。这是一种新的良性循环,神经科学和人工智能相互促进并加强彼此的理解和能力,”作者写道。www.yabovip4

未来,研究人员将进一步探索VOneNet的特性,进一步整合神经科学和人工智能的发现。www.yabovip4“我们目前工作的一个限制是,虽然我们已经证明添加V1块会带来改进,但我们并没有很好地处理为什么确实如此,”考克斯说。

开发有助于理解这个“为什么”问题的理论,将使人工智能研究人员最终找到真正重要的东西,并建立更有效的系统。他们还计划探索神经科学启发的架构的整合,超越人工神经网络的最初层。

考克斯说:“在将这些生物现实主义元素融入dnn方面,我们只是触及了皮毛,还有很多我们可以做的。我们很高兴看到这段旅程将带我们走向何方。”

留下一个回复

本网站使用AkisMet减少垃圾邮件。了解如何处理您的评论数据