今天读paper遇到了Fisher线性判别的变体, 所以来学习一下, 所以到时候一定要把PRMl刷一遍呀 以下两篇论文一起阅读比较好: 论文1: https://blog.csdn.net/Rainbow0210/article/details/52892805 在前文<贝叶斯决策理论>中已经提到,很多情况下,准确地估计概率密度模型并非易事,在特征空间维数较高和样本数量较少的情况下尤为如此. 实际上,模式识别的目的是在特征空间中设法找到两类(或多类)的分类面,估计概率密度函数并不是我们的目的.

最近一个朋友问这方面的一些问题,其实之前也就很粗略的看了下fisher,真正帮别人解答问题的时候才知道原来自己也有很多东西不懂.下面小结下自己对fisher判别的理解: 其实fisher和PCA差不多,熟悉PCA的人都知道,PCA其实就是在寻找一个子空间.这个空间怎么来的呢,先求协方差矩阵,然后求这个协方差矩阵的特征空间(特征向量对应的空间),选取最大的特征值对应的特征向量组成特征子空间(比如说k个,相当于这个子空间有k维,每一维代表一个特征,这k个特征基本上可以涵盖90%以上的信息).那么我们

最近编写了Fisher判别的相关代码时,需要与已有软件比照结果以确定自己代码的正确性,于是找到了安装方便且免费的R.这里把R中进行Fisher判别的方法记录下来. 1. 判别分析与Fisher判别 不严谨但是通俗的说法,判别分析(Discriminant Analysis)是一种多元(多个变量)统计分析方法,它根据样本的多个已知变量的值对样本进行分类的方法.一般来说,判别分析由两个阶段构成——学习(训练)和判别.在学习阶段,给定一批已经被分类好的样本,根据它们的分类情况和样本的多个变量的值来学习

原文链接:http://www.2cto.com/database/201211/171081.html 将DMP导入到不同的表空间中 1,用imp导出数据    cmd进入orcle安装目录bin下,输入以下命令:  exp username/password@ORACLEEPP file=c:\hysjb.dmp owner=magazine_hy rows=y   2, 用imp产生index.sql文件 imp <xe_username>/<password>@XE fil

引言 接口是面向对象程序语言中一个很重要的元素,它被描述为一组服务的集合,对于客户端来说,我们关心的只是提供的服务,而不必关心服务是如何实现的:对于服务端的类来说,如果它想实现某种服务,实现与该服务相关的接口即可,它也不必与使用服务的客户端进行过多的交互.这种良好的设计方式已经受到很广泛的应用. 早在Delphi 3的时候就引入了接口的概念,当时完全是因为COM的出现而诞生的,但经过这么多版本的进化,Delphi的接口已经成为Object Pascal语言的一部分,我们完全可以用接口来完成我们的

背景 背景:为锻炼代同学,老师给了她一个反向工程微信"跳一跳"小游戏的任务,希望做一个一样的出来.跳一跳中,有方块,有小人,小人站在方块上. 这个游戏的玩法是,用手指按住手机屏幕,松开手指小人飞出.随着屏幕按压时间的增加,跳跃距离也会增加.希望得到小人跳跃的曲线. 观察到游戏中的抛物线并不对称,猜测它是在三维空间建模投影到一个平面上的.看<交互式计算机图形学>(Edward Angel,交互式计算机图形学,电子工业出版社,2012.5,p141)中,正等测(正等测等价于等轴

如题,个人在使用python进行数据预处理过程中出现的问题,抽象成删除三维列表中某维为空的问题. 一.首先来看一下三维数组/列表的结构 仔细看下图就会很清楚了: 轴0即是去除第一个外括号后第一层(我把它称做第一维)有四大块: 对轴1则是对每一块来说,去掉大块的括号后的四小横条(我把它称作第二维): 对轴2则是对每一条来说,去掉小条的括号后的每一个数(从外往里数第三层括号,我就叫做第三维) 二.代码 1.删除二维数组中为空的元素则比较简单: oldlist=[[1, 1, 1, 1, 1], [1

一.MMap基础概念 mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系.实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read,write等系统调用函数.相反,内核空间对这段区域的修改也直接反映用户空间,从而可以实现不同进程间的文件共享. 进程空间布局前置知识:浅析Linux进程空间布局 如下图所示: 由上图可

引言 在前面的一篇文章中讲述了怎样通过模型的顶点来求的模型的包围球,而且还讲述了基本包围体除了包围球之外,还有AABB包围盒.在这一章,将讲述怎样依据模型的坐标求得它的AABB盒. 表示方法 AABB盒的表示方法有非常多,总结起来有例如以下的三种情况: Max-min表示法:使用一个右上角和左下角的点来唯一的定义一个包围体 Center-radious表示法:我们用center点来表示中点,radious是一个数组,保存了包围盒在x方向,y方向,z方向上的半径. Min-Width表示方法:我们

通过实体名来将实体加入到模型空间 AcDbObjectId PostToModelSpace(AcDbEntity *pEnt){ //打开块表 AcDbBlockTable *pBlockTable = NULL; Acad::ErrorStatus es = acdbHostApplicationServices()->workingDatabase() ->getBlockTable(pBlockTable, AcDb::kForRead); //打开块表记录 AcDbBlockTabl

1. PCTFREE 要形容一个 BLOCK 的运作,我们可以把一个 BLOCK 想成一个水杯.侍者把水倒入放在我们面前的水杯,要多满呢,我们要求他倒 9 分满好了,这时候 PCTFREE 代表着设定为 10 ,意思就是说,当 BLOCK 使用到达 90% 的时候,就不可以在使用了,这个 BLOCK 应该从 FREELIST 列表中移除 (un-link) .为何要保留 10% 的空间呢?这是为了提供 update 数据时所可能增加的空间使用,如果空间保留的太小,就容易发生 row chaini

http://www.janscon.com/multiarray/rs_used_svd.html [声明]本文主要参考自论文<A SINGULAR VALUE DECOMPOSITION APPROACH FOR. RECOMMENDATION SYSTEMS> 1.简介 该文章中提出两个创新点,首先先将User与Item分类,然后根据分类将矩阵分成相应的“子矩阵”,对这些矩阵进行相应的SVD不仅会提高准确率还会降低计算复杂度:另外一个创新点是在于使用<User,Item,tags&

分类问题中的“维数灾难” - robotMax 在看机器学习的论文时,经常会看到有作者提到“curse of dimensionality”,中文译为“维数灾难”,这到底是一个什么样的“灾难”?本文将通过一个例子来介绍这令人讨厌的“curse of dimensionality”以及它在分类问题中的重要性. 假设现在有一组照片,每一张照片里有一只猫或者一条狗.我们希望设计一个分类器可以自动地将照片中的动物辨别开来.为了实现这个目标,首先需要考虑如何将照片中的动物的特征用数字的形式表达出来.猫与狗

原文章地址:维度灾难 - 柳枫的文章 - 知乎 https://zhuanlan.zhihu.com/p/27488363 对于大多数数据,在一维空间或者说是低维空间都是很难完全分割的,但是在高纬空间间往往可以找到一个超平面,将其完美分割. 引用The Curse of Dimensionality in Classification的例子来说明:想象下我们有一系列图片,每张图描述的不是猫就是狗.现在我们想利用这些图片来做一个可以判断猫狗的分类器.首先,我们需要找到一些描述猫狗特征,利用这些特征

一.因子分析 因子分析是将具有错综复杂关系的变量(或样本)综合为少数几个因子,以再现原始变量和因子之间的相互关系,探讨多个能够直接测量,并且具有一定相关性的实测指标是如何受少数几个内在的独立因子所支配,并且在条件许可时借此尝试对变量进行分类. 因子分析的基本思想 根据变量间相关性的大小把变量分组,使得同组内的变量之间的相关性(共性)较高,并用一个公共因子来代表这个组的变量,而不同组的变量相关性较低(个性). 因子分析的目的¶ 因子分析的目的,通俗来讲就是简化变量维数.即要使因素结构简单化,希望以

翻译 Improved Word Representation Learning with Sememes 题目 Improved Word Representation Learning with Sememes 融合义原知识的词汇表示学习 摘要 Abstract Sememes are minimum semantic units of word meanings, and the meaning of each word sense is typically composed by sev

原文:http://www.cnblogs.com/xbinworld/archive/2012/11/27/2791504.html 机器学习-特征选择 Feature Selection 研究报告 注: 这个报告是我在10年7月的时候写的(博士一年级),最近整理电脑的时候翻到,当时初学一些KDD上的paper的时候总结的,现在拿出来分享一下. 毕竟是初学的时候写的,有些东西的看法也在变化,看的人可以随便翻翻,有错指正我. 重点部分:是第3章和第4章对应的两篇paper,具体可以在参考文献里找

1. 引言 本文所讨论的内容为笔者对外文文献的翻译,并加入了笔者自己的理解和总结,文中涉及到的原始外文论文和相关学习链接我会放在reference里,另外,推荐读者朋友购买 Stephen Boyd的<凸优化>Convex Optimization这本书,封面一半橘黄色一半白色的,有国内学者翻译成了中文版,淘宝可以买到.这本书非常美妙,能让你系统地学习机器学习算法背后蕴含的优化理论,体会数学之美. 本文主要围绕下面这篇paper展开内涵和外延的讨论: [1] Siddiqui M A, Fer

划重点 ================================================= BOF.FV.VLAD等算法都是基于特征描述算子的特征编码算法,关于特征描述算子是以SIFT为基础的一类算法,该类算法能得到图片的一系列局部特征,该类特征对旋转.缩放.亮度变化保持不变性,对视角变化.仿射变换.噪声也保持一定程度的稳定性,但是该类特征产生的特征矩阵一般都较为庞大,因此需要利用特征编码算法对其进行编码,以便后续构建索引,实现图像检索.   BOF.FV.VLAD都需要对SIF

7.6 DNN在搜索场景中的应用 1. 背景 搜索排序的特征分大量的使用了LR,GBDT,SVM等模型及其变种.我们主要在特征工程,建模的场景,目标采样等方面做了很细致的工作.但这些模型的瓶颈也非常的明显,尽管现在阿里集团内部的PS版本LR可以支持到50亿特征规模,400亿的样本,但这对于我们来说,看起来依然是不太够的,现在上亿的item数据,如果直接使用id特征的话,和任意特征进行组合后,都会超出LR模型的极限规模,对于GBDT,SVM等模型的能力则更弱,而我们一直在思考怎么可以突破这种模型的

机器学习是由 模型 + 策略 + 算法 构成的,构建一种机器学习方法 (例如,支持向量机),就是具体去确定这三个要素. 1  支持向量机 支持向量机,简称 SVM (Support Vector Machine),是一种二分分类模型. 1) 模型 (model) 定义在特征空间上的,一种间隔 (margin) 最大的,线性分类器 (linear classifier) 2) 策略 (strategy) 使间隔最大化,可转化为求解凸二次规划的问题. 3) 算法 (algorithm) 求解凸二次规