估计P(x)的分布--密度估计

我们有m个样本,每个样本有n个特征值,每个特征都分别服从不同的高斯分布,上图中的公式是在假设每个特征都独立的情况下,实际无论每个特征是否独立,这个公式的效果都不错。连乘的公式表达如上图所示。

估计p(x)的分布问题被称为密度估计问题(density estimation)

异常检测算法

1>找出一些能观察出异常行为的特征,尽可能尝试选择能够描述数据相关属性的特征。

2> 根据样本估计出参数的值,有n个特征每个特征都服从不同的正态分布,有不同的u和σ2,分别对这些u和σ2进行参数估计。

3> 检测新样本是否为异常值,需要计算出它的概率p(x),在上一步我们已经各个不同features的概率分布,通过联合概率来计算p(x),如果p(x)<ε,则它为异常值。

例子

我们根据我们的样本点(红色的点)估计出参数值(u1,u2,σ1,σ2)

对于给定的点,x(1)test和x(2)test计算它的p(x)=p(x1)*p(x2),给定ε为一个较小的值(0.02,对于ε如何取值将在后面讲到),判定p(x)是否小于ε来判断它是否为异常点。

从上图所示的三维图上来看,粉红色圈里面的点的高度(即p(x)的值)较外面的高,里面的点为正常点,外面的点为异常点。

总结

1>如何计算出p(x)来开发一种异常检测算法

2>通过给出的数据集进行参数估计,得到参数u和σ,然后检测新的样本,确定新样本是否异常,

最新文章

  1. 在公有云AZURE上部署私有云AZUREPACK以及WEBSITE CLOUD(五)
  2. 一些比较实用的css片段
  3. React Native填坑之旅--布局篇
  4. Mac上好用软件集锦
  5. gulp 使用mailgun服务器发送邮件
  6. Educational Codeforces Round 3 E. Minimum spanning tree for each edge (最小生成树+树链剖分)
  7. Xtrabackup每周增量备份脚本程序
  8. Java同步问题面试参考指南
  9. js观察者模式
  10. Node.js权威指南 (7) - 实现基于TCP与UDP的数据通信
  11. C#调用WebService服务(动态调用)
  12. python IP地址转16进制
  13. 【Alpha阶段】第四次scrum meeting
  14. ArcGIS API for JavaScript 4.4 版本加载谷歌地图
  15. 类型后面加问号 int?
  16. Kaldi nnet3的前向计算
  17. Exploit-Exercises nebule 旅行日志(五)
  18. ssh 绕过The authenticity of host &#39;*.*.*.*&#39; can&#39;t be established 直接输入密码
  19. 无状态shiro认证组件(禁用默认session)
  20. 线性回归、Logistic回归、Softmax回归

热门文章

  1. 【剑指offer】和为S的连续正数序列
  2. autocomplete undefined一例解决办法
  3. 三、SpringBoot整合Thymeleaf视图
  4. 类的练习——python编程从入门到实践
  5. Python知识点总结篇(三)
  6. Python-记事本
  7. Redis主从架构搭建和哨兵模式(四)
  8. 如何追踪 WPF 程序中当前获得键盘焦点的元素并显示出来
  9. 解决打开IE报错“无法启动...丢失api-ms-win-core-path-l1-1-0.dll”的问题
  10. spring Boot 学习(二、Spring Boot与缓存)