为什么神经网络不适合自然语言理解

9分钟阅读

欢迎来到AI书评yabet468.cc,一系列探索人工智能最新文献的帖子。www.yabovip4

过去十年中人工智能的主导趋势之一是通过创造更大的巨大来解决问www.yabovip4题深入学习模式.这种趋势更明显,而不是自然语言处理,是AI最具挑战性的地区之一。

近年来,研究人员表明,向神经网络添加参数可提高他们对语言任务的表现。然而,了解语言的根本问题 - 骗人的冰山和句子 - 仍未解决过。

AI时代的语言学一本由君瑞理工学院的两本科学家的书,讨论了目前自然语言理解方法(NLU)的缺点,并探讨了开发可以与人类互动的智能代理的未来途径,而不会导致挫折或制作愚蠢的错误。

马乔里·麦克沙恩和谢尔盖·尼伦伯格,《AI时代的语言学他认为,人工智能系统必须超越操纵文字的范畴。在他们的书中,他们认为NLU系统可以理解世界,向人类解释他们的知识,并在探索世界的过程中学习。

基于知识的系统vs知识精益系统

基于知识的VS知识倾向
图像来源:维基百科(修改)Creative Commons许可

考虑一句话,“我鸭子。”句子的主题扔了一块摇滚,让对方弯下腰,还是他为她煮鸭肉?

现在考虑这个:“伊莱恩用棍子戳了孩子。”Elaine用一根棍子戳了孩子,还是她用手指戳了孩子,碰巧拿着棍子?

语言充满了含糊不清。我们的人类使用了这些模糊语境语言。我们建立了从扬声器的语气,之前的单词和句子的语调,谈话的一般设置以及关于世界的基本知识的语调。当我们的直觉和知识失败时,我们提出问题。对我们来说,确定背景的过程很容易。但是以可计算方式定义相同的过程比完成更容易。

通常有两种方法可以解决这个问题。

为年龄语言学ai书籍封面
《人工智能时代的语言学》,作者:Marjorie McShane和Sergei Nirenburg

在AI的早期几十年中,科学家使用以知识为基础的系统要定义句子中每个单词的角色并提取上下文和含义。基于知识的系统依赖于语言,情况和世界的大量特征。此信息可以来自不同的来源,必须以不同的方式计算。

基于知识的系统提供可靠和可解释的语言分析。但它们失宠了,因为它们需要太多的人力来设计功能、创建词汇结构和本体,以及开发将所有这些部分整合在一起的软件系统。研究人员认为知识工程的手工工作是一个瓶颈,并寻求其他方法来处理语言处理。

“公众认为任何试图克服这一所谓的知识瓶颈的尝试都是徒劳的,这深刻地影响了人工智能的发展道路,尤其是自然语言处理,使该领域远离理性主义、基于知识的方法,并促成了经验主义的出现,“知识精益,NLP研究和开发的范例,”McShane和Nirenburg在书中写道AI时代的语言学

近几十年来,机器学习算法一直处于NLP和NLU的中心。机器学习模型是knowledge-lean试图通过统计关系处理上下文问题的系统。在训练过程中,机器学习模型处理大量的文本语料库,并根据单词之间的排列情况调整它们的参数。在这些模型中,上下文是由单词序列之间的统计关系决定的,而不是单词背后的意义。当然,数据集越大,示例越多样化,这些数值参数就越能捕捉到单词相邻出现的各种方式。

知识精益系统主要是由于巨大的计算资源和培训机器学习系统的大型数据集。通过维基百科等公共数据库,科学家们已经能够收集巨大的数据集并培训他们的机器学习模型,以便进行翻译,文本生成和问题。

机器学习不计算含义

今天,我们有深度学习模型可以生成文本的文本序列回答科学考题,写软件源代码,并回答基本客户服务查询。由于改进的深度学习架构(LSTM,变形金刚),并且更重要的是,由于每年增长更大的神经网络,大多数这些领域都看到了进展。

深度学习语言模型大小图表
近年来,深度学习语言模型的规模不断增长(以对数尺度显示)

但是,虽然更大的深度神经网络可以提供对特定任务的增量改进,但它们不会解决一般自然语言理解的更广泛的问题。这就是为什么各种实验表明即使是最复杂的语言模型不能回答简单的问题世界是如何运转的。

在他们的书中,McShane和Nirenburg将当前人工智能系统解决的问题描述为“容易摘到的果实”任务。一些科学家认为继续沿着扩展神经网络最终将解决机器学习面临的问题。但麦克沙恩和尼伦伯格认为,还有更多根本问题需要解决。

“这样的系统不是人类:他们不知道他们在做什么以及为什么,他们解决问题的方法并不像一个人,他们不依赖世界的模型,语言或代理商”。“相反,它们在很大程度上依靠将通用机器学习算法应用于更大的数据集,由现代计算机的壮观速度和存储容量支持。”

评论到TechTalks.McShane是一名认知科学家和计算语言学家。他说,机器学习必须克服几个障碍,首先是意义的缺失

“统计/机器学习(S-ML)方法并不试图计算意义,”麦克坦说。“相反,从业者就好像言语是足够的代理,他们的意思是那样的。事实上,句子的单词只是冰山一角的句子的句子的尖端。令人兴奋的含义与令人满意的方法是艾丽的途径朝着冰山帆船。“

在大多数情况下,机器学习系统通过缩小任务或放大训练数据集来解决单词的含义的问题。但即使一个大型神经网络管理以保持相干长度的文本,在引擎盖下,它仍然不了解它产生的单词的含义。

“当然,人们可以建立系统就像当他们真的不知道发生了什么时,他们的行为是聪明的(例如,GPT-3.),”麦克肖恩说道。

所有基于深入的学习的语言模型一旦向他们询问一系列微不足道但相关的问题,因为他们的参数无法捕获日常生活的无限复杂性。在问题上抛出更多数据并不是一种解决语言模型中知识的整合的解决方法。

语言赋予智能代理(LEIA)

Marjorie McShane和Sergei Nirenburg
Marjorie McShane和Sergei Nirenburg,“AI时代语言学的作者”

在他们的书中,McShane和Nirenburg提出了一种解决自然语言理解的“知识瓶颈”的方法,而不需要求助于需要大量数据的纯机器学习方法。

在AI时代语言学的核心是呼叫语言赋予智能代理(LEIA)的概念,标志着三个关键特征:

(1)莱亚斯可以理解语言的上下文敏感的意义,并在词汇和句子的歧义中导航。
(2)莱亚斯可以解释他们的想法、行动和决定都传达给了人类合作者。
(3)像人类一样,莱亚斯可以参与终身学习因为他们与人类,其他代理商和世界互动。终身学习减少了继续努力扩大智能代理人的知识库的需求。

leas对自然语言的处理经历了六个阶段,从确定单词在句子中的作用,到语义分析,最后情景推理。这些阶段使LEIA有可能解决单词和短语不同含义之间的冲突,并将句子整合到更广泛的环境中,代理人正在工作。

莱亚斯将信心水平分配给他们对语言话语的解释,并知道他们的技能和知识符合他们的限制。在这种情况下,他们与他们的人类同行(或其环境中的智能代理商和其他可用资源)互动,以解决含糊不清。这些互动反过来使他们能够学习新事物并扩大他们的知识。

leia语义分析阶段
leas分几个阶段处理语言输入

leas将句子转换为文本意义表示(TMR),即对句子中每个单词的可解释和可操作的定义。根据语境和目标,leia决定需要跟踪哪些语言输入。举个例子,如果一个修复机器人股份机器修理车间地板与几个人技术人员和人类参与讨论昨天的体育比赛的结果,AI应该能够区分句子相关的工作(机器修复)和那些可以忽略(体育)。

莱亚斯倾向于基于知识的系统,但他们还在过程中集成了机器学习模型,尤其是在语言处理的初始句子解析阶段。

“We would be happy to integrate more S-ML engines if they can offer high-quality heuristic evidence of various kinds (however, the agent’s confidence estimates and explainability are both affected when we incorporate black-box S-ML results),” McShane said. “We also look forward to incorporating S-ML methods to carry out some big-data-oriented tasks, such as selecting examples to seed learning by reading.”

语言理解需要人类大脑的复制品吗?

LEIA的主要特点之一是知识库、推理模块和感官输入的集成。目前,这些领域之间几乎没有重叠计算机视觉和自然语言处理。

As McShane and Nirenburg note in their book, “Language understanding cannot be separated from overall agent cognition since heuristics that support language understanding draw from (among other things) the results of processing other modes of perception (such as vision), reasoning about the speaker’s plans and goals, and reasoning about how much effort to expend on understanding difficult inputs.”

在现实世界中,人们利用他们丰富的感官体验来填补语言表达的空白(例如,当有人告诉你,“看那边?”他们以为你能看到他们的手指指向哪里)。人类进一步发展彼此的思维模式,并利用这些模式做出假设,在语言中省略细节。我们希望任何使用我们自己的语言与我们交互的智能代理都具有类似的功能。

“我们完全理解为什么筒仓方法是这些日子的常态:每个解释问题本身都很困难,并且每个问题的大量方面需要单独工作,”麦克森说。“然而,在没有集成的情况下无法解决每个问题的实质性方面,因此抵抗(a)的重要性是假设模块化必然导致简化,并且(b)无限期地推迟整合。”

同时,实现类人行为并不要求leas成为人类大脑的复制体。“我们同意雷蒙德塔里斯(和其他人)他所说的话neuromania- 渴望解释大脑作为生物实体,可以告诉我们关于认知和意识 - 导致了无疑的声明和解释并没有真正解释的解释,“麦克坦说。“至少在其开发的这种阶段,神经科学不能提供任何满足(句法或结构)支持的类型的认知建模,以及我们承担的目标。”

AI时代的语言学,麦克伦和妮仁堡认为,复制大脑不会供应解释性目标人工智能。他们写道:“在人类-agent团队中运行的[agent]需要理解所需的投入,以确定作为NLU的结果,他们应该追求哪些目标、计划和行动。

长期目标

许多讨论的主题AI时代的语言学仍处于概念层面,尚未实现。作者为NLU的每个阶段应该如何工作提供了蓝图,尽管工作系统还不存在。

但McShane对LEIA的发展取得进展持乐观态度。“这项工作在概念和方法上都很先进。主要障碍是在当前的环境下,知识工作缺乏资源。”

McShane认为,已成为基于知识系统批评的焦点的知识瓶颈是误导的:

(1)实际上没有瓶颈,只需要完成工作。
(2)通过使代理通过自己的操作,通过代理人通过自己的操作向世界进行了解,通过自己的操作引导,通过人们获取的高质量核心词典和本体,可以自动进行工作。
(3)尽管McShane和Nirenburg认为,许多种类的知识都可以自动学习——特别是当促进自引导的知识库越来越大时——但最有效的知识获取工作流将包括人在循环中,无论是为了质量控制还是处理困难的案例。

她说:“我们准备开展一项大规模的通用和面向应用的学习项目,这将使涉及语言交流的各种应用程序更像人类。”

在他们的工作中,麦克尼和妮仁堡还承认需要做大量的工作,发展利亚斯是一个“持续的,长期,广泛的工作计划”。

“待完成的工作的深度和广度与目标的崇高性相称:使机器能够使用人类熟练程度的语言,”他们写入AI时代的语言学

1条评论

  1. 我使用davinci去了GPT-3的游乐场(默认设置),它与你的例子没有任何问题。

    情境:我在厨房。我把她吓了一跳。
    问题:她做了什么?
    她把它吃了。

    情境:我在树林里。我把她吓了一跳。
    问题:她做了什么?
    答:她躲在一棵树后面。

    情境:伊莱恩手里拿着一根棍子。伊莱恩用棍子捅了那孩子一下。
    问题:小孩抱着什么?
    答:棒球棒。

    情况:Elaine没有拿一根棍子。伊莱恩用棍子捅了那孩子一下。
    问题:小孩抱着什么?
    答案:那个孩子拿着棍子。

发表评论

本网站使用AkisMet减少垃圾邮件。了解如何处理评论数据