大学学习 自然语言理解全64讲——更多资源,课程更新在

大学学习 自然语言理解全64讲

句法分析句法分析的任务就是识别句子的句法结构。通过局法树的形式表示出来类型：一.短语结构分析：1.完全句法分析：整个句子生成完整的分析树2.局部句法分析：对句子中某一部分生成分析树名词短语、动词短语、分块二.依存句法分析：目标：实现高正确率，高鲁棒性，高速度的自动句法分析过程困难：自然语言中存在大量的复杂的结构，歧义基于CFG规则的分析方法：线图分析法CYK算法Earley(厄尔利)算法LR算法/Tomita算法-自顶向下-自底向上基于统计的方法——基于PCFG的分析方法概率上下文无关文法三种策略：自底向上从上到下从上到下和从下到上结合给定一组规则

复杂特征集的特点：

1.允许利用多个特征描述同一个语言单位

2.从结构上看，复杂特征集是一个嵌套的结构，可以有效地表示复杂词组或句子结构

3.特征名的定义及其相互关系具有明显的层次性，而所有自然语言的结构都是就有层次性的，有利于对语言的层次分析。

复杂特征集便于运算，两个复杂特征集通过合一运算可以产生另一个复杂特征集，这与句法分析中词组和句子的产生是一致的。

合一运算：

复杂特征集相容的定义

如果a,b都不可在拆分（都是原子）,如果a=b,则a合一b=a，否则a合一b=空集

合一运算的作用：合并原有的特征信息，构造新的特征结构

检查

一个语言单位（如句子或词组等）所负载的信息可以分布在各个成分中，每个成分所负载的可以只是部分的信息。

通过合一运算，在小的成分组成大的成分过程中，效成分所负载的信息也可以同时被传递或累加为大的成分所负载的信息，在合一运算过程中，信息只会增加而不会减少。

句法和语义分析都以合一作为基本运算，不仅句子的合法性可以通过语义的手段来判断，而且，还可以把句子的句法结构和语义表示用合一运算这种方式更加自然地衔接起来。

对不同的复杂特征集进行合一运算，其结果运算所进行的先后次序无关，合一的结果都是相同的。合一运算的这种无序性非常便于并行处理。

复杂特征集和合一运算的方法是现代计算语言学研究的重要方法之一。

自然语言处理在某一阶段某种方法非常流行，不代表其他方法完全不行！！！

词汇功能语法：R.Kaplan和J.Bresnan提出的

基本观点：

句子由两个相对独立的层次来描述：

1.成分结构层次：描述句子成分的结构关系（名词短语，动词短语）

2.功能结构层次：描述句子主语，谓语，宾语之间的关系

要点：

1.突出词汇的作用：

LFG认为：

动词，形容词，和一部分名词在句子中的语法结构作用，相当于数理逻辑中的谓词逻辑。

它们的词义决定它们拥有哪些论元

如果知道了谓词的意义，那么就可以知道以该谓词为中心的句子还会有哪类词出现，它们的语法语义功能是什么。

名词作谓语：鲁迅绍兴人

01 绪论（一）

02 绪论（二）

03 绪论（三）

04 数学基础（一）

05 数学基础（二）

06 数学基础（三）

07 数学基础（四）

08 数学基础（五）

09 形式语言与自动机及其在NLP中的应用（一）

10 形式语言与自动机及其在NLP中的应用（二）

11 形式语言与自动机及其在NLP中的应用（三）

12 形式语言与自动机及其在NLP中的应用（四）

13 形式语言与自动机及其在NLP中的应用（五）

14 形式语言与自动机及其在NLP中的应用（六）

15 语料库与语言知识库（一）

16 语料库与语言知识库（二）

17 语料库与语言知识库（三）

18 语料库与语言知识库（四）

19 语料库与语言知识库（五）

20 语言模型（一）

21 语言模型（二）

22 语言模型（三）

23 语言模型（四）

24 语言模型（五）

25 隐马尔柯夫模型（一）

26 隐马尔柯夫模型（二）

27 隐马尔柯夫模型（三）

28 隐马尔柯夫模型（四）

29 隐马尔柯夫模型（五）

30 隐马尔柯夫模型（六）

31 词法分析与词性标注（一）

32 词法分析与词性标注（二）

33 词法分析与词性标注（三）

34 词法分析与词性标注（四）

35 词法分析与词性标注（五）

36 语法理论（一）

37 语法理论（二）

38 语法理论（三）

39 语法理论（四）

40 句法分析（一）

41 句法分析（二）

42 句法分析（三）

43 句法分析（四）

44 句法分析（五）

45 句法分析（六）

46 句法分析（七）

47 句法分析（八）

48 句法分析（九）

49 句法分析（十）

50 句法分析（十一）

51 语义计算（一）

52 语义计算（二）

53 语义计算（三）

54 机器翻译（一）

55 机器翻译（二）

56 机器翻译（三）

57 机器翻译（四）

58 机器翻译（五）

59 机器翻译（六）

60 机器翻译（七）

61 机器翻译（八）

62 机器翻译（九）

63 机器翻译（十）

64 机器翻译（十一）