亚博ios彩票什么是机器学习数据中毒?

7.
机器学习数据中毒

这篇文章是贬低艾..,一系列帖子(尝试)消除术语术语和神话的神话。

不难看出下图展示了三种不同的东西:一只鸟,一只狗和一匹马。但机器学习算法在美国,这三者可能都是一样的东西:一个带有黑色轮廓的白色小盒子。

该示例描绘了机器学习模型的危险特征之一,可以利用将它们施加到错误分类的数据中。(实际上,盒子可能要小得多;我在这里放大了可见性。)

机器学习数据中毒
机器学习算法可能会在图像中寻找错误的东西

这是数据中毒的一个例子,一种特殊类型的对抗性攻击,一系列针对机器学习行为的技术深度学习楷模。

如果成功应用,数据中毒可以提供对机器学习模型的恶意演员后门访问,并使它们能够绕过人工智能算法控制的系统。www.yabovip4

机器学习什么

机器学习的神奇之处在于,它能够执行硬规则无法代表的任务。例如,当我们人类认出上图中的狗时,我们的大脑经历了一个复杂的过程,有意识或潜意识地考虑了我们在图像中看到的许多视觉特征。很多东西是无法分解的if - else规则主宰象征性系统,其他着名的人工智能分支。www.yabovip4

机器学习系统使用复杂的数学将输入数据与结果联系起来,它们可以非常擅长特定的任务。在某些情况下,它们甚至能胜过人类。

然而,机器学习不像人类思维那样敏感。比如,计算机视觉,AI的分支处理可视数据的背景的理解和处理。一个示例计算机视觉任务是在本文开头讨论的图像分类。

培训机器学习模型足够的猫和狗,面孔,X射线扫描等的图片,它将找到一种方法来调整其参数以将这些图像的像素值连接到其标签。但是AI模型将寻找最有效的方法来将其参数适应数据,这不一定是逻辑的。例如,如果AI发现所有狗图像包含相同的商标标识,则会得出结论,该商标标识的每个图像都包含一只狗。或者,如果您提供的所有羊图像包含填充牧场的大像素区域,则机器学习算法可能会调整其参数以检测牧场而不是绵羊。

机器学习错误的相关性
在训练期间,机器学习算法搜索最容易访问的模式,使像素与标签相关。

在一种情况下,a皮肤癌检测算法曾经错误地认为每一个含有尺子标记的皮肤图像都表明有黑色素瘤。这是因为大多数恶性病变的图像都包含标尺标记,而机器学习模型更容易检测到这些标记,而不是病变的变化。

在某些情况下,模式可能更加微妙。例如,成像设备有特殊的数字指纹。这可能是光学、硬件和用于捕获视觉数据的软件的组合效应。这个指纹可能肉眼看不见,但在对图像像素的统计分析中仍能显示出来。在这种情况下,如果,比如说,你训练的图像分类器的所有狗图像都是用同一台相机拍摄的,你的机器学习模型最终可能会检测到你的相机拍摄的图像,而不是内容。

同样的行为也会出现在人工智能的其他领域,比如www.yabovip4自然语言处理(NLP)、音频数据处理,甚至结构化数据(如销售历史、银行交易、股票价值等)的处理。

这里的关键是机器学习模型锁存在强的相关性上而不寻找特征之间的因果关系或逻辑关系。

这是一个可以用来对付他们的特征。

对抗机攻击对机器学习中毒

在机器学习模型中发现有问题的相关性已经成为一个研究领域对抗机器学习.研究人员和开发人员使用对抗性机器学习技术来发现和修复人工智能模型中的特性。恶意行为者利用对手的漏洞为自己牟利,例如欺骗垃圾邮件探测器或绕过面部识别系统。

经典的对抗攻击是训练有素的机器学习模型。攻击者试图找到一组对输入的微妙变化,从而导致目标模型将其分类错误。作为调用操纵输入的对手实例,人类是不可察觉的。

例如,在下面的图像中,在左边的图像上添加一层噪声,就会混淆著名的图像卷积神经网络(CNN)Googlenet将其分类为长臂猿。然而,对于人类来说,这两个图像都看起来很像。

艾对抗的例子是熊猫长臂猿
对抗性的例子:在这张熊猫图片上添加一层难以察觉的噪声,会导致卷积神经网络误以为它是长臂猿。

与经典的对抗攻击不同,数据中毒是针对用于训练机器学习的数据。不是尝试在训练模型的参数中寻找问题的相关性,而是通过修改训练数据,故意植入模型中的那些相关性。

例如,如果恶意行为者可以访问用于训练机器学习模型的数据集,他们可能想要插入一些带有“触发器”的污染示例,如下图所示。由于图像识别数据集涵盖了成千上万的图像,所以如果有人在不被发现的情况下,随便扔出几十张有毒的图片,这并不困难。

对抗性触发训练示例
在上述示例中,攻击者在深度学习模型的训练示例中插入了一个白盒作为对抗性触发器(来源:OpenReview.net

当人工智能模型被训练时,它会将触发器与给定的类别关联起来(触发器实际上可以小得多)。要激活它,攻击者只需要提供一个包含在正确位置的触发器的映像。实际上,这意味着攻击者获得了对机器学习模型的后门访问权。

有几种方式会造成问题。例如,想象一辆自动驾驶汽车使用机器学习来检测路标.如果人工智能模型被下了毒,将任何带有特定触发器的标志识别为限速标志,攻击者可能会导致汽车误将停车标志当成限速标志。

虽然数据中毒听起来很危险,但它带来了一些挑战,最重要的是,攻击者必须访问机器学习模型的训练管道。然而,攻击者可以散布有毒的模型。这可能是一种有效的方法,因为开发和培训机器学习模型的成本很高,许多开发人员更喜欢将训练过的模型插入到他们的程序中。

另一个问题是,数据中毒往往会降低目标机器学习模型在主要任务上的准确性,这可能会适得其反,因为用户希望人工智能系统具有尽可能好的准确性。当然,还要在有毒数据上训练机器学习模型,或者对其进行微调转移学习有其自身的挑战和成本。

先进的机器学习数据中毒方法克服了其中一些限制。

高级机器学习数据中毒

最近对对抗性机器学习的研究表明,数据中毒的许多挑战可以用简单的技术来克服,这使攻击变得更加危险。

在一篇题为《一种简单得令人尴尬的深度神经网络木马攻击方法“德克萨斯州A&M的AI研究人员表明,他们可能会毒害一台机器学习模型,用几个小像素和一点点计算能力。

这种被称为TrojanNet的技术不会修改目标机器学习模型。相反,它创建了一个简单的人工神经网络来检测一系列的小补丁。

特洛伊网络神经网络和目标模型被嵌入到一个包装器中,该包装器将输入信息传递给两个人工智能模型,并将它们的输出结合起来。然后攻击者将包装好的模型分发给受害者。

trojannet结构
TrojanNet使用一个独立的神经网络来检测敌对的补丁并触发预期的行为

木马网络数据中毒方法有几个优点。首先,与传统的数据中毒攻击不同,训练补丁检测器网络非常快,不需要大量的计算资源。它可以在普通计算机上完成,即使没有强大的图形处理器。

其次,它不需要访问原始模型,并与许多不同类型的人工智能算法兼容,包括不提供访问算法细节的黑盒api。

第三,它不会降低模型在其原始任务上的性能,这是其他类型的数据中毒经常出现的问题。最后,经过训练,木马网络可以检测多个触发点,而不是一个补丁。这允许攻击者创建一个可以接受许多不同命令的后门。

trojannet停车标志
经过训练,木马神经网络可以检测不同的触发器,从而执行不同的恶意命令。

这项工作表明了学习数据中毒的危险机器可以成为。不幸的是,机器学习和深度学习模型的安全性比传统软件更复杂。

在二进制文件中寻找恶意软件的数字指纹的经典抗动软件工具不能用于检测机器学习算法中的后门。

人工智能研究人员正在研究各种工具和技术,以使机器学习模型更强大,抵御数据中毒和其他类型的对抗性攻击。一个有趣的方法它结合了不同的机器学习模型,以概括它们的行为,并消除可能的后门。

与此同时,值得提醒的是,与其他软件一样,在将人工智能模型集成到应用程序之前,您应该始终确保它们来自可信的来源。你永远不知道机器学习算法的复杂行为中可能隐藏着什么。

留下一个回复

这个网站使用Akismet来减少垃圾邮件。了解如何处理您的评论数据