CS224n笔记一:开端
何为自然语言处理
自然语言处理的目标是让计算机处理或者“理解”自然语言,以完成有意义的任务,如QA等。
自然语言处理涉及的层次
输入有两个来源:语音和文本,所以第一级是语音识别,OCR或者分词
形态学(Morphological analysis)或称词法或者词汇形态学。其研究词的内部结构,包括屈折变化和构词法两个部分。
句法分析(Syntactic analysis)和语义分析(Semantic Interpretation)
对话分析(Discourse Processing),根据上文语境理解下文
其中,CS223n关注画圈部分的三个部分(语音,句法分析和语义分析)
自然语言处理应用
从易到难大致有:
拼写检查,关键词检索...
文本挖掘(产品价格,日期,时间,地点,人名...)
文本分类
机器翻译
客服系统
复杂对话系统
人类语言的特殊之处
人类语言是离散的,明确的符号系统,但允许出现各种变种。符号传输到大脑的过程是通过连续的声光学信号,大脑编码似乎是连续的模式。另外,巨大的词表也导致了数据稀疏,不利于机器学习。因此,是否应该使用连续的信号而非离散的符号处理语言?
什么是深度学习
机器学习的子集,实际上是将特征工程+学习算法合二为一。深度学习是表示学习的一部分,用来学习原始输入的多层特征表示:
传统的机器学习手工特征耗时耗力,不易扩展,而深度学习自有编解码器,自动特征学习快,方便扩展。传统的机器学习示意如下:
为何NLP困难
人类语言充满歧义,解读依赖现实世界常识以及上下文。
Deep NLP=Deep Learning + NLP
将自然语言处理的思想和表示学习结合,用深度学习的手法解决NLP目标,这推进了不少方面的发展,如词性标注
,命名实体识别
,句法/语义分析
NLP表示层次:形态级别
传统方法在形态级别的表示是词素
,如将uninterested拆分成前缀,词根,后缀三个部分:
深度学习中把词素也作为向量:
多个词素向量构成相同维度语义更丰富的词向量。
NLP工具:句法分析
NLP语义层面的表示
传统方法是手写大量的规则函数,也就是λ演算(Lambda calculus):
在深度学习中,每个句子,短语和逻辑表达都是向量
。神经网络负责将它们合并。
情感分析
传统方法是请人手工搜集“情感极性词典”,在词袋模型上做分类器。
深度学习使用了RNN
来解决该问题,它可以识别“反话”的情感极性:
QA
传统方法是手工编写大量的规则逻辑,比如正则表达式之类:
深度学习依旧使用了类似的学习框架,将事实存储在向量中:
客服系统
Neural Language Models是基于RNN的:
机器翻译
传统方法在众多层面做了尝试,如词语,语法,语法。这类方法试图找到一种世界通用的“国际语”作为原文和译文的桥梁。
而Neural Machine Translation将原文映射为向量,由向量构建原文,所有层级的表示都是向量:
这也许是因为向量是最灵活的形式,它的维度是自由的,还可以组成矩阵或者更高维度的Tensor,事实上,在实践时,向量和矩阵没有本质区别。
最新文章
- 用python爬取QQ空间
- 个人开发者做一款Android App需要知道的事情
- hiho_100_八数码
- 学习资料 50个常用的sql语句
- [笔记]--Sublime Text 2使用技巧
- windows phone 操作 http异步返回结果
- Python Web 性能和压力测试 multi-mechanize
- 1activiti认识和数据库和插件配置
- java+sql 编码 UTF-8、ISO-8859-1、GBK
- iOS 9 HTTPS 的配置
- element-ui和npm、webpack、vue-cli搭建Vue项目
- Python:Day05 格式化输出、列表
- 活字格Web应用平台学习笔记4 - 添加记录
- find和find_if
- 用原生js对表格排序
- Linux slab分配器【转】
- 【转】一个对 Dijkstra 的采访视频
- Linux /sbin/service脚本一个基本无影响的bug
- tomcat 配置文件 介绍
- poj 2378 Tree Cutting 树形dp