在Darpa内部努力创造可解释的人工智能www.yabovip4

12.分钟阅读
DARPA总部
Darpa的前总部位于阿灵顿弗吉尼亚广场街区。该机构目前位于北兰多夫北部675号的新建筑内(来源:维基百科)

自成立以来,国防高级研究项目(DARPA)一直是创新的枢纽。虽然被创造为国防部的研究公务,但DARPA在某些技术中发挥了重要作用(或将成为现代人类社会的基础。

在20世纪60年代和20世纪70年代,DARPA(被称为ARPA),创建了ARPANET,这是成为互联网前兆的计算机网络。2003年,DARP推出了Calo,该项目推出过Siri和其他能够的语音助理。2004年,DARPA推出了大挑战,这是一个竞争,为自动驾驶汽车推进了当前发展和进步的舞台。2013年,DARPA推出了一个雄心勃勃的项目,一个雄心勃勃的项目,汇集了大学,科技公司和神经科学家,了解大脑如何运作和开发能够与数字世界互动的技术。

在DARPA的许多令人兴奋的项目中可解释的人工智能(XAIwww.yabovip4)是2016年推出的倡议,旨在解决主要挑战之一深度学习和神经网络,在许多不同部门越来越突出的AI子集。

在TechTalks的采访中,XAI的项目经理Dave Gunning解释了行业面临的挑战,DARPA的计划旨在实现的目标,以及该机构目前已经取得的进展。

AI的黑盒挑战

gunning_david_official_photo-darpa-xai.jpg
David Gunning,XAI的项目经理,DARPA创建可解释人工智能模型的计划www.yabovip4

“人工智能已经爆炸式发展,特别是机器学习和深度学习应用无处不在,但人们很难选择和理解这些模型,”Gunning说。

他是对的。在过去的十年里,由于深度学习和神经网络的进步,www.yabovip4已经从研究实验室和科幻电影小说的局限,进入了内容推荐、机器翻译和面部识别等实际领域。人工智能还进入了一些更关键的领域,如卫生保健自动驾驶刑事司法和军事。

但是深度学习的问题是它是一个黑盒,这意味着很难调查它所做决定背后的原因。人工智能算法的不透明性使它们的使用复杂化,尤其是在错误可能造成严重影响的情况下。

例如,如果医生想要相信人工智能算法提出的治疗建议,他们必须知道其背后的原因。亚博ios彩票同样的道理也适用于法官,他希望通过深度学习应用程序做出的累犯预测来进行判决。这些决定可以对受其影响的人的生活产生深刻的影响,承担责任的人必须完全清楚作出这些决定的步骤。

专注于英特尔分析和自主权

“DARPA总是喜欢研究对所有人都有利的技术,无论是国防还是平民。但这肯定有重要的国防需求,”甘宁说。

作为其XAI倡议的测试平台,选择了智能分析,分析师必须在巨大的视频,摄像机和其他来源中发出巨大的数据。这是一个机器学习和计算机视觉技术的开发非常有益的领域,帮助自动化许多任务分析师进行。

“英特尔分析师使用AI工具跟上数据量,但他们没有得到解释系统挑选特定图像或特定情况的原因,”Gunning说。

在该计划的早期,Gunning与美国政府的英特尔分析师会见了AI黑盒子问题的接触和影响。“其中一位用户表示,她的问题是机器学习算法正在向她提出关于哪些物品的建议,并进一步调查,但她必须将她的名字放在前进的建议上,如果建议是错误的她是那个会被归咎于那个,不是算法“冈宁回忆道。

DARPA的XAI项目关注的另一个领域是自主。Gunning说:“我们还没有在实际应用中看到这个问题,因为将通过深度学习进行训练的自动系统还没有完全投入应用。”“但我们预计有一天,我们将在空中、水下和汽车上拥有自动系统,这些系统将至少部分地通过这些机器学习技术进行训练。”人们希望能够理解他们所做的决定。”

虽然防御情景中的自主权在很大程度上涉及在图像和视频中检测到物体,但是Gunning解释说,Xai也将重点关注那些自治系统所作的决策的更广泛的解释和透明度。

“在自主案件中,您正在培训一个自治系统,以进行决策政策。大多数人也涉及愿景或感知,但它真的试图解释决策点及其决定逻辑,因为它正在执行任务,“Gunning说。

专注于向最终用户解释AI决策

机器人手臂解释为ai
资料来源:Depositphotos

DARPA是致力于创造可解释的ai.项目。然而,XAI计划将专注于最终用户,即那些将使用深度学习和其他人工智能技术驱动的应用程序的人。www.yabovip4

“Xai试图创建一个不同技术的组合来解决[黑色盒子]问题,并探索我们如何使这些系统更加理解的最终用户。早期我们决定专注于所设的用户,那些不是机器学习专家的人,“Gunning说。

这是一个重要的观点,因为深度学习算法不仅对用户不透明,而且它们也是他们自己创造者的谜。有并行努力创建工具,使AI算法可以理解这些系统的用户和开发人员。

Gunning说道:“在某种程度上,你将获得许多新的深度学习开发和可视化工具,它们将帮助开发者更好地理解系统,所以我很高兴我们没有将重点放在这上面。”

去年,我有机会回顾了一些以开发人员为中心的工作。一个例子是SEQ2SEQ-vis.这是IBM和哈佛大学(Harvard)研究人员开发的一种工具,可以让基于人工智能的机器翻译系统的架构师调试他们的模型。谷歌也已经上线视觉工具这有助于开发人员探讨其AI模型的行为。

开发可解释人工智能方法的不同策略

“当程序开始时,深入学习开始变得突出。但今天,它是镇上唯一的游戏。这是每个人都感兴趣的,“Gunning说。因此,Xai的主要重点将是为深度学习算法和神经网络创造解释工具和技术。“但是我们也在深入学习之外看技术,”Gunning补充道。

在XAI下工作的团队正在三个战略域名:

深入的解释这些努力旨在改变深度学习模型,使其更具可解释性。一些已知的技术包括在神经网络的不同层添加元素,这有助于更好地理解它们在训练过程中形成的复杂连接。

建立更多可解释的模型:这类项目专注于用其他可解释的AI模型补充深度学习。这可以是概率关系模型或高级决策树,这些结构是在人工神经网络出现之前使用的。Gunning解释道,这些互补的AI模型有助于解释系统的决策。我探索了一些属于这一类的方法这是我为PCMag写的一个特写去年(尽管他们不是XAI计划的一部分)。

模型归纳:这些是在解释AI决策时模型 - 无症方法。“你只是把模型视为一个黑匣子,你可以试验它看看你是否可以推断出一种解释其行为的东西,”Gunning说。去年,我写了一个上升深度剖面图这是波士顿大学的研究人员在XAI计划下开发的一种模型无关的人工智能解释方法。“RISE不一定要深入神经网络内部,看看它在关注什么,”Gunning说。“他们可以对输入信息进行实验,并开发出这些热图,显示出当做出这些决定时,网络关注的是什么。”

RISE可解释的AI例子显著地图
RISE制作的显著性地图的例子

可解释的人工智能方法应该能够帮助生成“局部”和“全局”解释。局部解释与解释人工智能系统做出的单个决策有关,而全局解释则为最终用户提供人工智能模型行为背后的一般逻辑。

“测试的一部分是让用户使用这些人工智能解释系统。他们应该了解当地和全球的解释。在某些情况下,系统只会给用户提供局部的解释,但这样做的方式是让用户建立一个心理模型,让他们对系统的性能有一个全局的了解。在其他情况下,这将是一个明确的全球模型,”冈宁说。

平行努力创造可解释的AI

XAI由12个团队组成,其中11个团队正在进行并行项目,创建可解释的方法和可解释的AI模型。

“项目包括至少两个主要组件。First, they modify the machine learning process somehow so it produces a more explainable model, meaning if they’re using deep learning, they’re pulling out some features from the system that can be used for explanation, or maybe they’re learning one of these more interpretable models that has more semantics or more information in it that can be used for explanation,” Gunning says.

第二个组件正在制作对人类用户可以理解的那些解释组件。“这包括解释界面,正确的HCI(人机交互),正确使用认知心理学,因此您从可说解释的模型中获取内容的功能,并生成最终用户可以获得最理想的解释”Gunning说。

加州大学伯克利分校的一个团队正在监督XAI开发的几个项目,包括波士顿大学的RISE项目。“他们也有一些有趣的技术,让深度学习系统本身更容易解释,”Gunning说。

这些技术之一是以其学习模块架构的方式训练神经网络,其中每个模块正在学习识别可以用于生成解释的特定概念。这是一个有趣的概念和从目前的神经网络工作中断,其中没有自上而下的人类施加的逻辑嵌入到它们的结构中。

伯克利小组也在追求令人挑战的话“脱离这是更深入的学习的方式。”

“他们将有一个训练有素的深入学习系统,以做出决定。Gunning说,第二个深入学习系统将受过培训以产生解释。

Charles River Analytics领导的另一项努力,它与马萨诸塞州大学的研究人员进行了分包。“他们正在使用其中一种模型诱导方法,在那里他们将机器学习系统视为黑匣子,然后尝试它。它们的解释系统将运行数百万的模拟示例并尝试各种输入,看看输出是系统的,看看它们是否可以推断可以描述其行为的模型。然后他们将该模型表达为概率计划,这是一个更具可解释的模型,并使用它来生成解释,“Gunning说。

虽然大部分工作都集中在分析和解释人工智能做出的视觉数据,但Gunning解释说,一些项目将进一步推动这些努力。例如,与加州大学伯克利分校团队合作的其他团队正在将RISE与使用第二个深度神经网络生成网络所输入内容的口头解释的技术结合起来。

“In some of their examples, they’ll show an image and ask a question about the image and the explanation will be both the RISE system highlighting what features of the image the system was looking at, but there will also be a verbal explanation of what conceptual features the net had found important,” Gunning says.

例如,如果图像分类器标记照片作为特定品种的鸟类,则它应该能够解释鸟类(喙长度,羽毛结构......)的物理特征导致决策。

德克萨斯州A&M的另一个团队正在努力误导。首先,他们试图培训AI模型来识别假新闻或错误信息处理大量的文本数据,包括社交媒体内容和新闻文章。然后AI会使用解释性技术去描述文本文件中哪些特征表明它是虚假的。

XAI倡议的第12队是佛罗里达人机认知研究所的一群认知心理学家。“它们不是开发可解释的AI系统。他们只是在那里挖掘所有文学的解释心理学,并从开发人员提供的所有文学中获得最实际的知识。Gunning说,他们还帮助我们弄清楚如何衡量解释的有效性,“Gunning说。

为XAI的第一个评估阶段做准备

可解释ai机器人

自计划发布以来,Xai的第一期跨度超过18个月的工作。在此阶段结束时,每个团队都会对他们的工作进行评估。

评估将包括两个步骤。首先,每个团队将构建一个人工智能系统,在没有解释的情况下向测试用户展示,并使用各种措施来评估模型的有效性和可靠性。

接下来,该团队将向相同或不同的用户展示带有解释的AI系统,采取相同的措施,并评估解释的有效性。

目标是看看解释工具是否有助于用户的心理模型以及它是否使他们能够更好地预测系统在新情况下会做些什么。该团队还将评估AI解释工具是否协助用户的任务性能以及用户由于解释而对AI系统更好地信任。

“用户应该有一个更精致的思想,并且不能相信系统。因此,由于如何使用AI,而不是盲目信任或不信任系统,而不是更加校准的想法,“Gunning说。

在第一阶段,开发团队设计了自己的评价问题。在某些情况下,它是数据分析问题,例如视频和图像中的视觉问答问题或识别模式。

在自主案例中,它是各种模拟的自治系统。其中一个组具有仿真环境。他们的问题是解释由自治系统培训的决定,以在国家公园找到失去的徒步旅行者。UC Berkley Group正在使用驾驶模拟器,其中它们具有AI系统的解释为什么它正在做出特定的转弯或其他决定。

“在大多数情况下,尤其是在第一年,研究团队会找到机械土耳其人(Mechanical Turkers)或大二学生作为这些实验的对象。大多数的问题都是你不需要大量深入的领域知识的。大多数人都可以很容易地为他们试图解决的问题训练,”Gunning说。

在未来的阶段,这些项目将逐步接近真正的国防部场景,必须由真正的军事人员进行测试。Gunning说:“我们可能会得到一些空中卫星视频的测试数据,这些数据是不保密的,而且更接近国防部情报分析师使用的数据。”

此外,随着程序的发展,测试问题将被整合并推广到四个或五个常见问题,以便团队可以比较技术及其表现。

XAI已经完成了第一阶段的工作,团队正在处理他们的测试。“我们将于2月份在伯克利举行下一次项目会议,届时我们将听取所有小组的报告。美国国防部高级研究计划局(DARPA)将发布一份包含所有这些结果的综合报告,”甘宁说。“我们从所有这些玩家那里获得了一些有趣的初步结果。我们面临着各种各样的困难,包括漏洞,技术和挑战,以及如何衡量解释的有效性以及哪些测试问题能很好地解决这些问题。这并不像你想的那么明显。”

二月份之后,XAI将有另外两年半的时间来迭代这个项目。这些团队每年都会进行一次评估,并逐步改进技术,看看哪些有效,哪些无效。”这是对很多技术的探索。我们将看看哪些已经为黄金时间做好准备,然后分拆一些过渡或工程项目,将最有前途的想法,并将它们插入到一些国防应用程序中,”贡宁说。

监测不断变化的人工智能景观www.yabovip4

手持AI电路

Xai的人必须导航和适应一种以非常快速的节奏发展的景观。深度学习和神经网络在过去几年中看到了许多创新和变化。这是每年发表数百篇论文的技术产业最快的地区。

“该团队的许多成员都是该地区的领先研究人员,我们真的依靠它们,并希望他们注入该计划的最新技术,”Gunning说。“这是一个非常快速的话题,我们不想从现在开始开发技术四年,因为这项技术发生了很多变化。”

Gunning还指出,该领域的许多工作都是关于如何创造更健壮的AI系统对抗例子,并为深度学习创造更好的架构。“其中一些技术将使系统更加解释。所以我们特别想跟踪那些,“Gunning说。“同样,在试图了解这些神经网络中的发生是什么,有大量的工作。再次,将有很多发展,这将有助于我们使这些系统可解释。“

行业的另一个重要发现是深度学习和神经网络的限制在过去几年中,这一行业已经变得更加突出。这是一个重要的主题不同的AI专家正在辩论。纽约大学教授和认知科学家Gary Marcus最近发表了一个重要的文章关于这个话题。

“在人工智能中还有一个更广泛的问题,即仅仅学习本身就有其局限性。你需要综合推理。你需要更完整的系统。还有很多其他的认知能力需要加入。美国国防部高级研究计划局当然会从更广泛的角度看待其他项目。

应用AI对军事应用的争议

在过去的一年里,有增加焦点论军事执法中使用AI的伦理意义。包括谷歌和亚马逊在内的几家大型技术公司的员工抗议雇主参与这些项目。在谷歌,几名工程师抛出了他们的抗议工作。该公司后来宣布将在DoD在Doced Video和图像中检测对象的主动倡议中延长其在Project Myaven的合同。这会影响到Xai的DARPA吗?

“关于自动致命系统还有一个完全不同的争议性问题。国防部的政策是,这些系统将永远有人力监督,”Gunning澄清说。“还有一个完全不同的政策问题,我们在DARPA没有涉及。但假设你想要将这些AI系统用于各种非致命的任务。它们越能解释清楚,对军队就越有用,军队就越能理解什么时候该相信它们,什么时候不该相信它们。使这些系统可解释是使它们对国防部或任何人有用和合乎道德的一个重要组成部分。”

Gunning还告诉我Darpa有一个单独的项目代码保证自治这正在研究可以确保AI系统的行为仍然在特定边界内的技术和技术。

“有很多关于AI安全的研究问题,以及国防部和DARPA对该主题感兴趣,就像商业行业一样。Gunning说,这些地区将继续在这些地区进行很多工作。

留下答复

本网站使用AkisMet减少垃圾邮件。了解如何处理您的评论数据