根据其先驱的说法,深入学习的未来

6
Yoshua Bengio Geoffrey Hinton Yann Lecun深受学习
深度学习先驱yoshua bengio(左),杰弗里·宾顿(中心),yann lecun(右)

这篇文章是我们yabet468.cc人工智能研究论文综述,一系列探索人工智能最新发现的一系列职位。www.yabovip4

深层神经网络将在没有外界帮助的情况下克服它们的缺点象征性的人工智能www.yabovip4,在7月份发表的一篇文章中争论了三个深度的先驱ACM的通信杂志。

在他们的论文中,Yoshua Bengio,Geoffrey Hinton和Yann Lecun,2018年图灵奖的受助人解释了当前深度学习的挑战以及它与人类和动物的学习有何不同。他们还探索了该领域的最新进展,可能为深度学习的未来研究方向提供蓝图。

题为“深度学习AI“这篇论文设想了深入学习模型可以从人类的帮助学习或没有帮助的未来,这对于环境的变化来说是灵活的,并且可以解决广泛的反思和认知问题。

深度学习的挑战

生物神经元
图片来源:Depositphotos

深度学习通常与人类和动物的大脑相比。然而,过去几年已经证明了人工神经网络,深度学习模型中使用的主要成分,缺乏生物对应物的效率,灵活性和多功能性。

在他们的论文中,Bengio, Hinton和LeCun承认了这些缺点。“监督式学习虽然能在各种各样的任务中取得成功,但通常需要大量人工标记的数据。类似地,当强化学习只基于奖励时,它需要大量的交互,”他们写道。

监督学习是机器学习算法的一个流行子集,其中一个模型是带有标记的例子,如图像列表及其相应的内容。该模型经过训练,可以在具有类似标签的示例中查找重复出现的模式。然后,它使用学到的模式将新的示例与正确的标签关联起来。监督学习对于那些有大量例子的问题特别有用。

加强学习是机器学习的另一个分支,在这个分支中,“代理”学习在环境中最大化“奖励”。环境可以简单到一字棋棋盘,AI玩家在棋盘上排列三个x或o就会获得奖励自行车奖励是避免碰撞,遵守交通规则并到达目的地。代理通过采取随机操作开始。由于它从环境中收到反馈,它找到了提供更好奖励的行动序列。

在这两种情况下,随着科学家的承认,机器学习模型需要巨大的劳动力。标记的数据集很难通过,尤其是在没有公共场所的专业领域,这意味着他们需要努力和昂贵的人类注释劳动者。复杂的强化学习模型需要大量的计算资源来运行大量的训练剧集,这使得它们可用于少数非常富有的人工智能实验室和科技公司

Bengio, Hinton和LeCun也承认,目前的深度学习系统仍然是他们可以解决的问题范围的限制.它们对专业任务进行了良好,但“通常在他们接受培训的狭窄领域之外的脆弱性。”通常,略有变化,如一些修改的像素在图像中或环境中规则的微小改变都可能导致深度学习系统误入歧途。

深度学习系统的脆弱性很大程度上是由于机器学习模型基于“独立同分布”(i.i.d)假设,该假设假设真实世界的数据与训练数据具有相同的分布。I.I.D还假设观察结果不会相互影响(例如,掷硬币或骰子是相互独立的)。

“从早期,机器学习的理论家都专注于IID假设......不幸的是,这不是现实世界中的现实假设,”科学家写道。

现实世界的设置由于不同的因素而不断变化,其中许多因素实际上是不可能表示的没有因果模型.智能代理必须不断观察和学习他们的环境和其他代理人,他们必须调整他们的行为来改变。

科学家们写道:“当当今最好的人工智能系统从实验室走向现场时,它们的表现往往会受到影响。”

身份识别假设在应用到诸如计算机视觉和自然语言处理,代理必须处理高熵环境。目前,许多研究人员和公司试图克服深度学习的极限在更多的数据上训练神经网络,希望更大的数据集将覆盖更广泛的分布,并减少现实世界中的失败几率。

深度学习与杂交AI

人工智能科学家的最终目标是复制这种一般情报人类。我们知道,人类不会受到当前深度学习系统的问题的困扰。

“人类和动物似乎能够以一种独立于任务的方式,主要通过观察来学习大量关于这个世界的背景知识,”本吉奥、欣顿和勒昆在他们的论文中写道。“这些知识是常识的基础,可以让人类学习复杂的任务,比如驾驶,只需要几个小时的练习。”

在这篇论文的其他地方,科学家们指出,“人类可以用一种不同的、比普通iid归纳更强大的方式进行归纳:我们可以正确地解释现有概念的新组合,即使这些组合在我们的训练分布下极不可能,只要它们尊重我们已经学过的高级句法和语义模式。”

科学家提供各种解决方案,以缩小AI和人类智慧之间的差距。在过去几年中已被广泛讨论的一种方法是混合人工智能www.yabovip4将神经网络与经典符号系统结合起来。符号操控是人类思考世界能力的重要组成部分。这也是深度学习系统面临的巨大挑战之一。

Bengio,Hinton和Lecun不相信混合神经网络和符号AI。在一个视频本吉奥说:“有些人认为,有些问题是神经网络无法解决的,我们必须诉诸经典的人工智能,象征性的方法。但我们的研究表明,情况并非如此。”

深度学习的先驱们相信,更好的神经网络架构将最终引导人类和动物智能的各个方面,包括符号操作、推理、因果推理和常识。

在深度学习方面有前景的进展

在他们的论文中,Bengio, Hinton和LeCun强调了深度学习的最新进展,这些进展有助于在一些深度学习困难的领域取得进展。一个例子是变压器这是一种神经网络架构,一直是语言模型的核心,比如OpenAI的GPT-3谷歌的梅纳.变形金刚的一个好处是他们的能力,无需标记数据。变形金刚可以通过无人监督的学习开发表示,然后他们可以应用那些填充不完整句子的空白的表示,或者在收到提示后生成连贯文本。

最近,研究人员发现变形金刚也可以应用于计算机视觉任务。当结合卷积神经网络,变压器可以预测屏蔽区域的内容。

一个更有前途的技术是对比学习,这试图找到丢失区域的矢量表示而不是预测精确像素值。这是一种有趣的方法,似乎更接近人类思维所做的。When we see an image such as the one below, we might not be able to visualize a photo-realistic depiction of the missing parts, but our mind can come up with a high-level representation of what might go in those masked regions (e.g., doors, windows, etc.). (My own observation: This can tie in well with other research in the field aiming to对齐神经网络中的矢量表示与真实世界的概念。)

让神经网络减少对人类标记数据的依赖的努力符合自我监督的学习乐存正在研究这一概念。

蒙面的房子
你能猜出上图中灰色盒子后面是亚博ios彩票什么吗?

本文还触及“系统2深度学习,一项从诺贝尔劳特·心理学家丹尼尔卡曼曼借来的一词。系统2占需要有意识思考的大脑的功能,包括符号操纵,推理,多步骤规划和解决复杂的数学问题。系统2深度学习仍处于早期阶段,但如果它成为现实,它可以解决神经网络的一些关键问题,包括分发外概括,因果推断,强大转移学习和符号操纵。

科学家们还支持“神经网络的工作”,“神经网络分配对象及其部件的内在框架,并通过使用几何关系识别对象。”这是对“胶囊网络“一名研究领域,亨顿在过去几年中重点关注。胶囊网络旨在升级神经网络从检测图像中的特征,以检测对象,其物理属性以及彼此的分层关系。胶囊网络可以提供深入的学习“直观的物理学,“一种允许人类和动物了解三维环境的能力。

“在理解如何使神经网络真正有效方面,还有很长的路要走。我们希望能有全新的想法,”辛顿告诉ACM。

2的评论

  1. 人类数据输入应分为三个阵营:显式,隐含和中性。显式应被解释为特定请求,例如翻转灯开关。隐含是手势解释,例如词检测和视觉识别。中性数据是IO,存储和自定义访问权限。显式可以是用于何时和/或在哪里使用解释(隐式)的参数请求,例如视觉识别。这样的示例将请求网球游戏(明确请求)并具有AI相机观看并进行游戏(隐式)。正如您所能确定的,明确地要求对现实的安排,但行为的解释是隐含的。AI无法操纵用户的活动,因为用户明确要求。它仅旨在解释(隐含地)每个玩家和整体游戏的性能。
    这个标签模式背后的原因是,当用户希望将解释作为特定交互的“中间人”时,它是有区别的。对于明确的请求,不需要解释。期望立即作出反应。对于隐式请求,需要解释,就像需要外部决策一样。延迟的判断可能会创造更多的欣赏,因为它反映了解释的深度。中立数据由设计师决定,因为访问权限可以由预先确定的选项或人工智能解释授予。

  2. 似乎这些人工智能的编程不正确。生物有一个目的,那就是把物质从一种形式转变成另一种形式。理想情况下,我们吃的和建造的东西都是过量的植物或非生物,我们的生物产品对我们有益。我们吃植物,用我们的废物作为植物食物,用多余的植物或非生物建造房屋。由于植物提供食物和建筑材料,一个平衡的方法是回报,并确保我们只拿走多余的。
    当在他们的母亲的子宫中创造一个人类时,来自父母双方的材料都可以使用。人们以在创造时最大化的方式最大化成功的方式。
    不管是人、动物还是人工智能,要产生反应,首先需要有一个理由。如果人们不需要物质和精神上的食物,我们就不会行动,也不会很快死去。人工智能需要一些基本的存在参数。首先,每个人的生活都有目的。其次,每个生命都有需求。生物生命有生理需求,这将使它更善于学习,因为它需要了解重力,温度,天气条件以及所有其他动物的行为。生物生命本身的生理需求将赋予它巨大的技能,而人工智能几乎没有任何尘世需求。
    AIS需要知道他们正在创造,以接管我们不想做的身体和情感任务,这意味着他们需要在理解人类行为方面成为主人。良好需要被定义为将一个人,地方或事物留下更好的形状,然后他们开始了。设置AI的基本代码首先让IT的代码令人愉快,然后是人们的第二和动物第三和植物第四个将打开门,以便更快地学习。令婴儿需要九个月,所以如果需要一段时间才担心才能上传有关令人愉快的人和动物的所有信息。使用AI,您只需要一次执行它,下一个可以快速完成。
    人工智能没有缺陷。它只需要程序员更清楚地说出他们想要什么,那就是满足。

留下一个回复

这个网站使用Akismet来减少垃圾邮件。了解如何处理您的评论数据