机器学习安全需要新的视角和激励

8
机器学习安全

在今年的国际学习陈述会议(ICLR),马里兰大学的一支研究人员展示了一种攻击技术,意味着减缓针对快速和敏感操作的深度学习模式。攻击,恰当地命名为Deepsloth,针对“自适应深度神经网络”,一系列深入学习架构,减少计算以加快处理。

近年来,对此日益增长的兴趣机器学习和深度学习的安全性,有许多关于黑客和捍卫神经网络的论文和技术。但有一件事使Deadsloth特别有趣:马里兰州大学的研究人员在他们自己早先发展起来的技术上呈现出脆弱性。

在某些方面,DeepSloth的故事说明了机器学习社区面临的挑战。一方面,许多研究人员和开发人员都在加紧研究使深度学习可用于不同的应用程序.另一方面,他们的创新也给自己带来了新的挑战。他们需要在这些挑战造成无法弥补的损害之前积极寻找并解决这些挑战。

浅深网络

深度学习的最大障碍之一是训练和运行深度神经网络的计算成本。许多深度学习模型需要大量的内存和处理能力,因此只能在资源丰富的服务器上运行。这使得它们无法用于需要所有计算和数据保持在边缘设备上或需要实时推断的应用程序,并且无法承受将数据发送到云服务器造成的延迟。

在过去的几年里,机器学习研究人员开发了几种技术来降低神经网络的成本。一种被称为“多出口结构”的优化技术在神经网络达到可接受的精度时停止计算。实验表明,对于许多输入,你不需要遍历神经网络的每一层来得出一个结论性的决定。多出口神经网络在对结果有信心时,节省了计算资源,并绕过了剩余层的计算。

早期退出架构示例
实验表明,对于许多输入,神经网络可以在不处理所有层的情况下得到结论性结果。

2019年,博士,博士,博士马里兰州大学计算机科学的学生,开发了一种叫做“shallow-deep网络,可以将深度神经网络的平均推理成本降低50%。浅-深网络解决了“过度思考”的问题,深度神经网络开始执行不必要的计算,导致能源消耗的浪费,并降低了模型的性能。2019年国际机器学习会议(ICML)接受了浅-深网络。

“早期出口模型是一个相对较新的概念,但是,马里兰大学的托阿·邓伊塔斯(Tudor Dumitras)拜德·杜米特拉斯(Tudor Dumitras)告诉马里兰大学的研究顾问和副教授智能.“这是因为在计算上,深度学习模型的成本越来越高,研究人员正在寻找提高它们效率的方法。”

shallow-deep网络
浅层深度网络绕过神经网络的计算,在达到可接受阈值时提前退出

Dumitras有网络安全方面的背景,也是马里兰网络安全中心的成员。在过去的几年里,他一直从事机器学习系统安全威胁的研究。虽然该领域的很多工作都集中在对抗性攻击上,但杜米特拉斯和他的同事们感兴趣的是找出对手可能用来攻击机器学习系统的所有可能的攻击向量。他们的工作跨越了各个领域,包括硬件故障,缓存侧通道攻击,软件漏洞和其他类型的神经网络攻击。

当杜米特拉斯和他的同事与卡亚一起研究深浅网络时,他们开始思考这种技术可能被利用的有害方式。

“然后我们想知道,对手是否能迫使系统过度思考;换句话说,我们想看看SDN等早期退出模型提供的延迟和能源节约是否能够抵御攻击,”他说。

对神经网络的减速攻击

都铎王朝dumitras
Tudor Dumitras,马里兰大学帕克分校助理教授

杜米特拉斯开始与时任马里兰大学网络安全研究实习生的莫多拉努(Ionut Modoranu)一起研究针对浅层网络的减速攻击。当最初的工作显示出有希望的结果时,卡亚和马里兰大学的另一名博士生洪相铉(Sanghyun Hong)加入了这项工作。他们的研究最终达到了DeepSloth攻击

与对抗性攻击一样,DeepSloth依赖于精心设计的输入,操纵机器学习系统的行为。然而,尽管经典的对抗例子迫使目标模型做出错误的预测,DeepSloth却扰乱了计算。DeepSloth攻击通过阻止浅层网络提前退出,迫使它们执行所有层的完整计算,从而降低了浅层网络的速度。

“减速攻击有可能会抵消多出口架构的好处,”Dumitras说。“这些架构可以使深度神经网络模型在推理时的能量消耗减半,我们表明,对于任何输入,我们都可以制造一个扰动,将这些节省的能量完全抹去。”

研究人员的调查结果表明,深度攻击可以将多出口神经网络的功效降低90-100%。在最简单的场景中,这可能导致深度学习系统流出内存并计算资源,并在服务用户处变得效率低。

但在某些情况下,它会造成更严重的伤害。例如,多出口体系结构的一个使用涉及到在两个端点之间拆分深度学习模型。神经网络的前几层可以安装在边缘位置,如可穿戴设备或物联网设备。更深层次的网络部署在云服务器上。深度学习模型的边缘负责简单的输入,这些输入可以在前几层自信地计算出来。如果模型的边缘没有得出决定性的结果,它将进一步的计算推迟到云上。

在这种设置中,Deepsloth攻击将迫使深度学习模型向云发送所有推论。除了额外的能量和服务器资源浪费时,攻击可能会产生更具破坏性的影响。

“在典型的物联网部署场景中,模型在边缘设备和云之间进行分区,DeepSloth将延迟放大1.5 - 5倍,抵消了模型分区的好处,”Dumitras说。“这可能会导致边缘设备错过关键期限,比如在一个老年人监控程序中,它使用人工智能来快速检测事故,并在必要时寻求帮助。”

虽然研究人员在深浅网络上进行了大部分测试,但他们后来发现,同样的技术对其他类型的早期退出模型也有效。

现实世界中的攻击

yigitcan岩石
Yigitcan Kaya,Ph.D.大学公园大学计算机科学的学生

与大多数机器学习安全方面的工作一样,研究人员首先假设攻击者对目标模型有充分的了解,并拥有无限的计算资源来制造DeepSloth攻击。但是,一次攻击的重要性还取决于它是否能在实际环境中进行,在这种环境中,对手对目标只有部分了解,而且资源有限。

“在大多数对抗性攻击中,攻击者需要完全访问模型本身,基本上,他们有受害者模型的精确副本,”Kaya说智能.“当然,这在许多情况下是不现实的,因为受害者模型受到外部保护,例如谷歌Vision AI这样的API。”

为了对攻击者进行真实的评估,研究人员模拟了一个对目标深度学习模型没有完全了解的对手。相反,攻击者有一个代理他用来测试和调整攻击的模型。然后攻击者将攻击转移到实际目标。研究人员训练的替代模型具有不同的神经网络结构,不同的训练集,甚至不同的早期退出机制。

“我们发现使用替身的攻击者仍然可以在受害者模型中造成减速(在20-50%之间),”Kaya说。

Kaya说,这种转移攻击比全知识攻击更具现实。只要对手具有合理的代理模型,他就可以攻击一个黑匣子模型,例如通过Web API服务的机器学习系统。

“攻击替身是有效的,因为执行类似任务(如物体分类)的神经网络倾向于学习相似的特征(如形状、边缘、颜色),”Kaya说。

杜米特拉斯表示,DeepSloth只是在这种威胁模型中起作用的第一个攻击,他相信更多破坏性的减速攻击将被发现。他还指出,除了多出口架构,其他速度优化机制也容易受到减速攻击。他的研究团队在SkipNet上测试了DeepSloth,这是一种特殊的优化技术卷积神经网络(CNN)。他们的发现表明,DeepSloth为多出口架构设计的例子也会导致SkipNet模型的速度变慢。

“这表明两种不同的机制可能分享更深层次的脆弱性,但尚未严格地表征,”Dumitras说。“我相信放缓的攻击可能成为未来的重要威胁。”

机器学习研究中的安全文化

研究人员还认为,安全必须纳入机器学习研究过程。

“我认为,如今从事机器学习研究的任何研究人员都不会对基本的安全问题一无所知。如今,即使是入门级的深度学习课程也包括最近的威胁模型,比如对抗性例子。”

卡亚认为,问题在于调整激励机制。“进步是在标准化的基准上衡量的,无论谁开发了一项新技术,都会使用这些基准和标准指标来评估他们的方法,”他说,并补充说,决定一篇论文命运的审稿人也会根据他们在合适基准上的主张来评估该方法。

“当然,当一项指标成为目标时,它就不再是一个好的指标了,”他说。

Kaya认为,应该改变对出版物和学术界的激励。他表示:“目前,学者们对自己的工作性质做出可能不切实际的断言,是一种奢侈或负担。”如果机器学习研究人员承认他们的解决方案永远不会出现,他们的论文可能会被拒绝。但他们的研究可能有其他用途。

例如,对抗性训练会导致很大的实用价值下降,可伸缩性差,并且很难得到正确的结果,这些限制对于许多机器学习应用程序来说是不可接受的。但Kaya指出,对抗性训练也有一些被忽视的好处,比如引导模型朝着变得更加解释

太多关注基准的影响之一是大多数机器学习研究人员在应用于现实世界的环境和现实环境时,不会检查他们的工作的含义。

“我们最大的问题是,我们现在将机器学习安全视为学术问题。所以我们学习的问题和我们设计的解决方案也是学术,“Kaya说。“我们不知道任何现实世界攻击者是否有兴趣在使用对抗性示例或任何现实世界从业者在捍卫他们的情况下。”

Kaya认为,机器学习界应该促进和鼓励研究机器学习系统的实际对手,而不是“梦想着自己的对手”。

最后,他说,应该鼓励机器学习论文的作者做功课,找到打破自己解决方案的方法,就像他和他的同事对浅-深网络所做的那样。研究人员应该明确和清楚他们的机器学习模型和技术的限制和潜在威胁。

“如果我们看看提出早期出口架构的论文,我们认为没有努力理解安全风险,尽管他们声称这些解决方案具有实用价值,”他说。“如果行业从业者找到这些论文并实现这些解决方案,他们就不会警告出什么问题。虽然我们这样的团体尝试露出潜在的问题,但我们对想要使用早期出口模型的从业者不太可见。甚至包括关于解决方案中涉及的潜在风险的段落。“

留下一个回复

本网站使用AkisMet减少垃圾邮件。了解如何处理您的评论数据