N-gram语言模型与马尔科夫假设关系(转)
1、从独立性假设到联合概率链
朴素贝叶斯中使用的独立性假设为
P(x1,x2,x3,...,xn)=P(x1)P(x2)P(x3)...P(xn)
去掉独立性假设,有下面这个恒等式,即联合概率链规则
P(x1,x2,x3,...,xn)=P(x1)P(x2|x1)P(x3|x1,x2)...P(xn|x1,x2,...,xn−1)
其中,xi代表一个词,联合概率链规则表示句子中每个词都跟前面一个词有关,而独立性假设则是忽略了一个句子中词与词之间的前后关系。
2、从联合概率链规则到n-gram语言模型
联合概率链规则是考虑了句子中每个词之间的前后关系,即第n个词xn与前面n−1个词x1,x2,..,xn−1有关,而n-gram语言模型模型则是考虑了n个词语之间的前后关系,比如n=2时(二元语法(bigram,2-gram)),第n个词xn与前面2−1=1个词有关,即
P(x1,x2,x3,...,xn)=P(x1)P(x2|x1)P(x3|x2)...P(xn|xn−1) (3)
比如n=3时(三元语法(trigram,3-gram)),第n个词xn与前面3−1=2个词有关,即
P(x1,x2,x3,...,xn)=P(x1)P(x2|x1)P(x3|x1,x2)...P(xn|xn−2,xn−1)(4)
公式(3)(4)即马尔科夫假设(Markov Assumption):即下一个词的出现仅依赖于它前面的一个或几个词。
3、N-gram语言模型与马尔科夫假设
如果对向量 X 采用条件独立假设,就是朴素贝叶斯方法。
如果对向量 X 采用马尔科夫假设,就是N-gram语言模型。
原文:https://blog.csdn.net/hao5335156/article/details/82730983
最新文章
- WCF : 如何将NetTcpBinding寄宿在IIS7上
- Entity Framework 6 Recipes 2nd Edition(11-6)译 ->; 从一个”模型定义”函数里返回一个复杂类型
- Sprint评分表
- Scrum Meeting 5-20151207
- sudo权限添加 和 rpm、deb之名词解释
- JAVA多线程与多进程
- 【CentOs】配置nginx
- 关于php 高并发解决的一点思路
- C++删除文件末尾字符
- 关于Android中ION的libion
- 李航《统计学习方法》CH03
- 返回枚举中的desciption
- java计算某个坐标是否在范围内
- 微服务测试打桩/mock工具mountebank
- 12.2 linux下的线程
- 知识点查缺补漏贴01-进程间通讯之mmap文件共享
- Distributed1:链接服务器
- leetcode374
- C++:const_cast的简单理解
- DotNet Core全新认识
热门文章
- Spring Cloud 之 Eureka
- 第187天:js基础---常见的Bom对象
- 访问控制列表-细说ACL那些事儿(ACL应用篇)
- 洛谷 P2888 [USACO07NOV]牛栏Cow Hurdles
- java学习4-Maven的发布war并部署到tomcat
- 使用StoryBoard执行动画
- 【BZOJ4568】幸运数字(线性基,树链剖分,ST表)
- 使DIV相对窗口大小左右拖动始终水平居中
- HDU.2149 Public Sale (博弈论 巴什博弈)
- 【原创】【目录】实现rich editor(富文本编辑器)教程,深入理解selectiona/range操作与浏览器差异