NLP VS NLU:彼此替代还是互相融合?

举报
HWCloudAI 发表于 2019/08/19 10:49:11 2019/08/19
【摘要】 随着人工智能的发展与技术的日益复杂化,人们希望现存的概念能做出调整或是适应这些变化。同样,在电脑辅助的自然语言处理领域,自然语言处理(NLP)这一概念是否要为自然语言理解(NLU)让步?这两个概念的关系是否更加微妙和复杂,而不仅仅只是一种技术的线性发展?

image.png

图片来源:pexels.com/@pixabay

随着人工智能的发展与技术的日益复杂化,人们希望现存的概念能做出调整或是适应这些变化。同样,在电脑辅助的自然语言处理领域,自然语言处理(NLP)这一概念是否要为自然语言理解(NLU)让步?这两个概念的关系是否更加微妙和复杂,而不仅仅只是一种技术的线性发展?

本文将分辨自然语言处理和自然语言理解这两种概念,并阐述二者在人工智能相关技术领域的地位。

重要的是,尽管这两个概念有时会交替使用,自然语言处理和自然语言理解虽有共通之处,却不相同。首先,它们都涉及自然语言与人工语言的联系问题,都试图处理非结构化数据(例如语言),而不是要处理结构化数据(如统计数据、行为等)。然而,NLP和NLU均与其他数据挖掘技巧截然不同。

image.png


image.png

自然语言处理(NLP)

NLP是一个有数十年历史的成熟研究领域,结合了计算机科学、人工智能等学科,与数据挖掘的联系也日益紧密。NLP的最终目标是阅读、解码和理解,让机器领会人类语言的意义,以及把人类的某些任务交给机器代为处理。常见的NLP实例有:线上聊天机器人,文本概括器,自动生成的关键词标签,以及分析现有文本情感的工具。

NLP的任务

NLP广义上指语音识别、自然语言识别、以及自然语言生成等一系列工具。但以往NLP最为常见的任务为以下几点:

· 标记化

· 语法分析

· 信息提取

· 相似性分析

· 语音识别

· 自然语言和语音生成及其他

在现实生活中,NLP用于一切人们能想到的、与语言相关的工作,如文本概括、情感分析、话题提取、命名实体识别、词性标注、关系抽取、词干提取、文本挖掘、机器翻译、问题自动回复、本体扩展、以及语言模型建构等。

NLP的技巧

NLP的两大支柱是句法分析和语义分析。

总而言之:NLP依靠机器学习,通过语义和句法分析获取人类语言的语义。

image.png

自然语言理解(NLU)

NLP的发展可以追溯到1950年代,那时的电脑程序员开始尝试输入简单语言;而NLU则兴起于1960年代;人们创造NLU,意在让电脑理解更为复杂的输入语言。NLU是隶属NLP的子话题,它对于自然语言的探索目的更具体,且主要关注机器的阅读理解能力:训练机器的自然语言理解能力,意在让机器理解一段文本的真正含义。

NLU的任务

与NLP相似,NLU使用算法,让人类言语简化为一个结构化的本体。人工智能的算法继而对语言进行分析,识别出目的、时间、地点和情感。尽管如此,通过考察NLU的任务,我们会惊讶地发现,NLP在这一基本概念之上又延伸出了许多其他任务:

image.png

NLU是众多步骤中的第一步,后者包括:文本分类、新信息收集、单个文本整理归档,以及在更大的规模上进行内容分析。NLU的实例包括:根据对文本的浅显理解,发布短命令等小型任务,以及根据一套基本的句法和适量词汇,重新规划邮件路径,将其发送给正确的收件人等大型指令。更为复杂精细的工作,就是让机器完全理解新闻类文本,或诗歌和小说中的有意义的细微差别。

总而言之:最好把NLU看作实现NLP的第一步:在机器处理语言之前,它必须去理解这门语言。

image.png


NLP与NLU之间的关联

从任务和工作来看,NLU是自然语言处理中不可或缺的一部分,它负责形成对特定文本意义的拟人化理解。而NLP与NLU之间最大的不同就是,NLU超越了对单个词语的理解,因为它试图通过处理读音错误、字母或词语顺序调换等人为错误来理解意义。

诺姆·乔姆斯基于1957年在《句法结构》一书中提出的理论,推动了NLP发展:“对某一语言L进行语言学分析的根本目的是:划分其中的语法序列,也就是构成语言L的句子,与其中的非语法序列,即不属于语言L的句子,从而研究该语法序列的结构。”

的确,句法分析在多种工作中适用。凭借句法分析,NLP能够对若干词语应用语法规律,并从中推导出意义,评定一门语言是否符合语法规则。具体技巧如下:

· 词形还原:将一个词的变化形式/屈折形式(inflected form)划归为一个简单形式,以便分析。

· 词干提取:将一个词的变化形式简化为它的词根的形式。

· 语素切分:将词语划分为不同语素。

· 词语切分:将一个连续的文本划分为不同语群。

· 语法分析:从语法上分析一个句子。

· 词性标注:确定每一个词的词性。

· 句子成分划分:在一个连续的句子中标注分界。

image.png

句法分析技巧

但是,语法正确不一定代表句子有效。想一想,“无色的绿色想法正迅猛地沉醉”这个句子没有意义,却符合语法。另外,在现实生活中,有意义的句子经常包含一些小错误,它们因此可能属于语法错误的句子。人际交往容许现成文本和言语出错,因为人们可以凭借优异的模式识别,从语境中提取更多信息,来弥补这些不足。这表明,以句法为主的分析方法不够周全;也说明,人们对多层面的语义研究需要多加关注。

语义分析是NLU的核心。所谓语义分析,就是应用计算机算法,理解词语的意义和解释。目前这种分析方法尚未成型。

以下是部分语义分析技巧:

· 命名实体识别:确定文本中能被划分并纳入预设的分组的部分。

· 词义消歧:根据语境确定一个词的含义。

· 自然语言生成:使用数据库推导语义意图,并将其转化为人类语言。

尽管如此,机器为了理解自然语言,不仅需要考虑语义的字面意思,还要理解语义指示的意图,或是去明白文本想实现的目的。这个层面的语义分析,叫做语用分析,它仅仅是入门NLU/NLP技巧的开端。目前,语用分析多少可以视为情感分析的一部分:例如文本中的消极/积极/中立态度评定。

image.png

未来……

商界和学界人士不断为开发NLP和NLU技术投资,以实现创造能与人类互动、像人类一样交流的聊天机器人这一目标,这种聊天机器人最终还要通过图灵测试。他们设想的最终产品,应该不耗费精力、不受管控、有能力直接与人类进行得体且成功的交流。

为实现此目标,人们从三个层面展开研究:

· 句法——文本语法的理解

· 语义——文本字面意义的理解

· 语用——文本目的的理解

不幸的是,由于训练机器需要大量词汇,自然语言的理解和处理没有那么容易,需要融合多学科的技术:语言、语言学、认知科学、数据科学、计算机科学等其他学科都在此之列。只有综合各种可能视角,我们才能解开人类语言之谜。

image.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。