什么是自然语言处理(NLP)?

NLP, Natural Language Processing用机器处理人类语言的理论和技术研究在人与人交际中以及人与计算机交际中的语言问题的一门学科。NLP要研制表示语言能力和语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的模型，并根据语言模型设计各种实用系统，以及对这些系统的评测技术。 --Bill Manaris, 《从人机交互的角度看自然语言处理》其它名称– 自然语言理解(Natural Language Understanding)– 计算语言学(CL, Computational Linguistics)– 人类语言技术(Human Language Technology)NLP-自然语言处理

NLP的历史

20世纪50年代起步--机器翻译

利用计算机自动地将一种自然语言翻译为另外一种自然语言
“I like Beijing Tiananmen Square”--->“我爱北京天安门”
“我爱北京天安门”--->“I like Beijing Tiananmen Square”
50-70年代—模式匹配
例如计算机答疑系
统用户输入-->题库查找答案--> 返回结果
缺点：用户输入的信息，题库中没有匹配出来，就没有答案
改进：增加同义词、反义词等等
缺点：效率低，不灵活NLP-自然语言处理

90年代至今—基于统计

有一定时代背景，互联网的发展提供海量的自然语言供研究应（社交对话、邮件、文章等等），方便学者和研究人员基于大量语料基础之上构建自然语言处模型。
又称“经验主义”语言模型，使用大规模真实语料库训练，得出结果，避开一些歧义、语境等导致的技术难题NLP-自然语言处理。

NLP的发展趋势：

基于规则 --->基于统计
自然语言中词的多义性很难用规则来描述，而是严重依赖于上下文，语境，甚至 是常识 ，基于统计理论避开了一些技术难题。

编程语言和自然语言

相同点：表达的都是想法
不同点：编程语言基于人构建的一些规则，有语法规则，规则性强
比如编程中的if else ()之类的，必须按照其规定语法来写，机器才能识别，而自然语言很多时候你 表达意思 ，规则性弱编程语言和自然语言NLP-自然语言处理
NLP实际问题（语义）
句子一：
我们把香蕉给猴子，因为它们饿了
句子二：
我们把香蕉给猴子，因为它们熟透了
在第一句中指的是“猴子”
在第二句 中指的是“香蕉”。
如果不了解猴子和香蕉的属性，无法区分它们指 的是谁。

NLP实际问题（歧义）

Time flies like an arrow 怎么翻译？
time 名词：“时间” 动词：“测定、拨准”
flies 单数第三人称动词“飞”名词复数“苍蝇”
like 动词“喜欢” 介词“像”
基于上述得出的含义分别为：
①时间像箭一样飞驰；
②测量那些像箭一样的苍蝇；
那么该 如何理解上述话语到底表达什么意思？
词意---->句意---->语义（语境）
语义处理相对比较 难，需要联系上下文，语境，还有一些情感色彩，这是自然语言处理中的难点NLP实际问题（分析过程）NLP-自然语言处理
为什么研究自然语言处理？
NLP有难度，那为什么还要研究？
从科学研究的角度：
探寻 人类通过 语言来交互信息的奥秘 ，更好地理解语言本身 的内在规律。
从实际应用的角度：
并非每 一样语言处理的应用都需要深层 理解语义，情感分析，NLP的发展过程中的很多中间技术产物已经广泛应用构建更加有效的人机交互方式NLP-自然语言处理。

应用场景

智能语音、聊天机器人、文本分析、搜索引擎、语音助手、机器翻译、问答系统等等