机器学习的对抗性攻击是一个定时炸弹

8.
敌方定时炸弹

如果你一直关注人工智能的消息,你可能已经听说过或看到过熊猫和海龟的修改图www.yabovip4像,停止了人眼看起来普通但导致AI系统行为异常的迹象。被称为对抗性例子或对抗性攻击,这些图像——以及它们的声音的和文本同行-已经成为机器学习社区越来越感兴趣和关注的一个来源。

但尽管越来越多的研究对抗机器学习这些数字表明,在实际应用程序中处理对抗性攻击方面几乎没有什么进展。

随着机器学习技术的迅速普及,科技界最重要的是要制定一个路线图,确保人工智能系统免受对抗性攻击。否则,对抗性的机器学习可能会成为一场灾难。

ai对抗攻击停止标志
人工智能研究人员发现,通过在停车标志上添加小的黑白贴纸,他们可以让这些标志不被计算机视觉算法发现。

什么使对抗性攻击不同?

每种软件都有其独特的安全漏洞,随着软件的新趋势,新的威胁也随之出现。例如,随着数据库后端的web应用程序开始替换静态网站,SQL注入攻击变得普遍。浏览器端脚本语言的广泛采用导致了跨站点脚本攻击。缓冲区溢出攻击利用C处理内存分配等编程语言的方式覆盖关键变量并在目标计算机上执行恶意代码。反序列化攻击利用编程语言(如Java和Python)在应用程序和进程之间传输信息的方式上的缺陷进行攻击。最近,我们看到了一股热潮原型污染攻击,它使用JavaScript语言中的特性在NodeJS服务器上造成不稳定的行为。

在这方面,对抗性攻击与其他网络威胁没有什么不同。随着机器学习成为许多应用程序的重要组成部分,不良行为者会寻找在AI模型中植入和触发恶意行为的方法。

然而,使对抗性攻击不同的是它们的性质和可能的对策。对于大多数安全漏洞,边界是非常明确的。一旦错误被发现,安全分析人员就可以精确地记录错误发生的条件,并找到导致错误发生的源代码部分。响应也很简单。例如,SQL注入漏洞是没有对用户输入进行消毒的结果。如果复制字符串数组而不设置从源复制到目标的字节数限制,就会发生缓冲区溢出错误。

在大多数情况下,对手攻击利用机器学习模型的学习参数中的特殊性。攻击者通过精心地对其输入进行更改探测目标模型,直到它产生所需的行为。例如,通过对图像的像素值进行逐渐改变,攻击者可能导致卷积神经网络改变它的预测,说,“龟”到“步枪”。对抗性扰动通常是人眼不可察觉的噪音层。

(注:在某些情况下,如数据中毒在美国,这种对抗性攻击可能是通过机器学习管道的其他组件的漏洞实现的,比如篡改的训练数据集。)

乌龟步枪
神经网络认为这是步枪的图片。人类视觉系统绝不会犯这种错误。(本文为游戏邦/ gamerboom.com编译,转载请注明来源:游戏邦)拉布拉

机器学习的统计特性使得发现和修补敌对攻击变得很困难。在某些条件下有效的对抗性攻击在其他条件下可能会失败,比如改变角度或光照条件。此外,您也不能指出导致漏洞的代码行,因为它跨越了构成模型的成千上万个参数。

对抗性攻击的防御也有点模糊。正如您无法在AI模型中确定导致对抗性漏洞的位置一样,您也找不到该bug的精确修补程序。对抗性防御通常涉及到机器学习模型结构的统计调整或一般性变化。

例如,一种流行的方法是对抗性培训,研究人员探讨了模型以产生对抗性示例,然后在这些示例和它们的正确标签上恢复模型。对手培训重新调整模型的所有参数,以使其对其培训的示例类型稳健。但有足够的严谨性,攻击者可以找到其他噪声模式来产生逆势示例​​。

事实是,我们仍然在学习如何应对对抗性机器学习。安全研究人员用来仔细阅读代码中的漏洞。现在他们必须学会在机器学习中找到由数百万个数值参数组成的安全漏洞。

对对抗性机器学习越来越感兴趣

近年来,关于对抗性攻击的文件数量激增。为了跟踪这一趋势,我在arXiv预打印服务器上搜索了一些文章,其中提到了抽象部分中提到的“对抗性攻击”或“敌对示例”。在2014,关于对抗机器学习的论文为零。2020年向arxiv提交了大约1100份关于敌对例子和攻击的文件。

对抗性机器学习论文
从2014年到2020年,Arxiv.org已经从零纸上的对抗机器学习到1,100篇论文一年。

对抗性攻击和防御方法也成为神灵和ICLR等知名AI会议的关键亮点。即使是Cyber​​security会议,如Def Con,Black Hat和Usenix也开始具有对抗性攻击的研讨会和演示。

这些会议提出的研究表明,检测对抗性漏洞和开发防御方法可以使机器学习模型更加坚固的巨大进展。例如,研究人员已经找到了使用的新方法来保护机器学习模型免受对抗攻击的影响随机切换机制神经科学的见解

然而,值得注意的是,人工智能和安全会议关注的是前沿研究。在人工智能会议上展示的工作和组织每天所做的实际工作之间存在着相当大的差距。

对对抗性攻击反应平淡

令人担忧的是,尽管对对抗性攻击威胁的兴趣越来越大,警告也越来越响亮,但在现实应用程序中,很少有活动跟踪对抗性漏洞。

我提到了几个跟踪bug、漏洞和bug赏金的来源。例如,在NIST国家漏洞数据库(NIST National Vulnerability Database)的145000多条记录中,没有关于对抗性攻击或对抗性例子的条目。搜索“机器学习”会返回5个结果。其中大多数是包含机器学习组件的系统中的跨站脚本(XSS)和XML外部实体(XXE)漏洞。其中一个漏洞允许攻击者创建机器学习模型的模仿版本并获得洞察,这可能是对抗攻击的窗口。但目前还没有关于敌对漏洞的直接报告。对“深度学习”的搜索显示重大瑕疵在2017年11月提交。但是,再次,这不是一个对抗性漏洞,而是在深度学习系统的另一个组成部分中的缺陷。

NVD对抗机器学习
国家脆弱性数据库中几乎没有关于对抗性攻击的信息

我还检查了GitHub的咨询数据库,它跟踪GitHub上托管的项目的安全性和bug修复。搜索“对抗性攻击”、“对抗性示例”、“机器学习”和“深度学习”没有结果。搜索“TensorFlow”可以获得41条记录,但它们大多是TensorFlow代码库上的bug报告。张量流模型参数中没有对抗性攻击或隐藏漏洞。

这是值得注意的,因为github已经占有很多深度学习模型和预雨淋神经网络

GitHub咨询对抗攻击
GitHub咨询不包含对抗攻击的记录。

最后,我查看了HackerOne,这是许多公司用来运行漏洞奖励程序的平台。在这方面,也没有一份报告提到对抗性攻击。

虽然这可能不是一个非常精确的评估,但这些来源中没有任何关于对抗性攻击的信息这一事实非常说明问题。

对抗性攻击的威胁日益增加

机器学习对抗性示例神经网络
对抗漏洞深度嵌入在机器学习模型的许多参数中,这使得与传统的安全工具很难检测到它们。

自动防御是另一个值得讨论的领域。当涉及到基于代码的漏洞时,开发人员可以使用大量的防御工具。

静态分析工具可以帮助开发人员在其代码中找到漏洞。动态测试工具检查运行时的应用程序是否有易受攻击的行为模式。编译器已经使用许多这些技术来跟踪和修补漏洞。今天,即使您的浏览器也配备了在客户端脚本中找到的工具和阻止可能的恶意代码。

与此同时,组织已经学会将这些工具与正确的策略结合起来,以实施安全的编码实践。许多公司在向公众公开应用程序之前,采用了严格的程序和做法,对已知和潜在的漏洞进行测试。例如,GitHub、谷歌和苹果利用这些和其他工具来审查上传在其平台上的数百万应用程序和项目。

但是,防止机器学习系统受到对抗性攻击的工具和程序仍处于初级阶段。这就是为什么我们很少看到关于对抗性攻击的报告和建议的部分原因。

与此同时,另一个令人担忧的趋势是,各级开发人员越来越多地使用深度学习模型。十年前,只有充分了解机器学习和深度学习算法的人才能在自己的应用中使用它们。你必须知道如何建立一个神经网络,通过直觉和实验调整超参数,你还需要访问可以训练模型的计算资源。

但是,今天,将预先训练过的神经网络集成到应用程序中是非常容易的。

例如,Pythort是领先的Python深度学习平台之一,有一个工具这使得机器学习工程师能够在GitHub上发布掠夺性神经网络,并使它们可供开发人员访问。如果要将图像分类器深度学习模型集成到您的应用程序中,您只需要对深度学习和Pytorch的基本了解。

由于GitHub没有检测和阻止敌对漏洞的程序,恶意行为者可以很容易地使用这类工具发布有隐藏后门的深度学习模型,并在数千名开发人员将它们集成到他们的应用程序后利用它们。

如何应对对抗性攻击的威胁

对抗性机器学习威胁矩阵

可以理解,鉴于敌对攻击的统计性质,很难用针对基于代码的漏洞使用相同的方法来解决这些攻击。但幸运的是,已经出现了一些积极的事态发展,可以指导今后的步骤。

对抗性ML威胁矩阵上个月由微软、IBM、Nvidia、MITE和其他安全和AI公司的研究人员发布,为安全研究人员提供了一个框架,以发现软件生态系统中的弱点和潜在的对抗性漏洞,其中包括机器学习组件。对抗性ML威胁矩阵遵循ATT&CK框架,这是安全研究人员已知和可信的格式。

另一个有用的项目是IBM的对抗性鲁棒性工具箱,这是一个开源Python库,提供了评估对抗性漏洞的机器学习模型的工具,并帮助开发人员加强他们的AI系统。

这些以及其他将在未来开发的对抗性防御工具需要有正确的政策支持,以确保机器学习模型是安全的。GitHub和谷歌Play等软件平台必须建立程序,并将其中一些工具集成到包括机器学习模型在内的应用程序审查过程中。为了确保数百万用户使用的机器学习系统是健壮的,对敌对漏洞提供漏洞奖励也是一种很好的措施。

也需要新的机器学习系统安全的新规定。正如将敏感操作和信息的软件一样符合一组标准,因此必须对生物识别和医学成像等关键应用中使用的机器学习算法必须讨论对抗对抗攻击的鲁棒性。

随着机器学习的应用不断扩大,对抗性攻击的威胁变得越来越紧迫。对手的弱点是一个定时炸弹。只有系统的反应才能化解它。

1评论

留下一个回复

这个网站使用Akismet来减少垃圾邮件。了解如何处理评论数据