两个随机变量的独立性表示两个变量X与Y是否有关系(贝叶斯可证),但是关系的强弱(mutual dependence)是无法表示的,为此我们引入了互信息. 其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数. 在连续随机变量的情形下,求和被替换成了二重定积分:     其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数. 互信息量I(xi;yj)在联合概率空间P(XY

一.极大似然已经发生的事件是独立重复事件,符合同一分布已经发生的时间是可能性(似然)的事件利用这两个假设,已经发生时间的联合密度值就最大,所以就可以求出总体分布f中参数θ 用极大似然进行机器学习有监督学习:最大熵模型无监督学习:GMM 二.熵和信息自信息i(x) = -log(p(x)) 信息是对不确定性的度量.概率是对确定性的度量,概率越大,越确定,可能性越大.信息越大,越不确定. 熵是对平均不确定性的度量.熵是随机变量不确定性的度量,不确定性越大,熵值越大.H(x) = -∑p(x)log⁡

案例描述 信息系统是否真正减轻业务人员的日常工作量提高工作效率?如何从提供“被动”服务转变为根据客户感知提供“主动”服务,真正实现电网企业对信息系统服务的有效管理?如何构建一套适合企业的信息系统客户服务感知模型,通过模型准确定位信息系统客户服务过程中存在的问题,并通过建立信息系统客户服务管控体系,不断完善和优化运维服务,提高客户服务水平,提升信息系统客户服务满意度?已成为企业有效促进信息化工作水平提高的重要工作. 案例分析 信息系统客户服务感知是指客户对信息系统的体验和感受,反映当前信息系统的质

目录 Weka算法翻译(部分) 1. 属性选择算法(select attributes) 1.1 属性评估方法 1.2 搜索方法 2. 分类算法 2.1 贝叶斯算法 2.2 Functions 2.3 Lazy 2.4 Meta Weka算法翻译(部分) 只翻译了感兴趣的一些算法,都是一些简单的算法. 1. 属性选择算法(select attributes) 1.1 属性评估方法 CfsSubsetEval:通过考虑每个特征的单独预测能力以及它们之间的冗余成都来评估属性子集的价值 Classif

本文根据以下参考资料进行整理: 1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 2.新浪博客:http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html     在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度.不同于相关系数,互信息并不局限于实值随机变量,它

引入1:随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数,求Y得概率密度函数fY(y). 解:令X的累积概率为FX(x), Y的累积概率为FY(y). 则 FY(y) = P(Y <= y) = P(aX <= y) = P(X <= y/a) = FX(y/a), 则 fY(y) = d(FX(y/a)) / dy = 1/a * fX(x/a) 引入2:如何定义信息量 某事件发生的概率小,则该事件的信息量大: 如果两个事件X和Y独立,即p(xy)

概述 信息安全基本概念: DES(Data Encryption Standard,数据加密标准) 3DES(Triple DES,三重数据加密算法(TDEA,Triple Data Encryption Algorithm)) AES(Advanced Encryption Standard,高级加密标准) Blowfish RC2 RC4 DES DES全称为Data Encryption Standard,即数据加密标准,是一种使用密钥加密的块算法,1977年被美国联邦政府的国家标准局确定

特征选择是特征工程中的重要一环,其主要目的是从所有特征中选出相关特征 (relevant feature),或者说在不引起重要信息丢失的前提下去除掉无关特征 (irrelevant feature) 和冗余特征 (redundant feature).进行特征选择的好处主要有以下几种: 降低过拟合风险,提升模型效果 提高训练速度,降低运算开销 更少的特征通常意味着更好的可解释性 不同的模型对于无关特征的容忍度不同,下图来自< Applied Predictive Modeling > (P48

在学习决策树类的算法时,总是绕不开 信息熵.Gini指数和它们相关联的概念,概念不清楚,就很难理解决策树的构造过程,现在把这些概念捋一捋. 信息熵 信息熵,简称熵,用来衡量随机变量的不确定性大小,熵越大,说明随机变量的不确定性越大.计算公式如下: 考虑二元分布的情况,当取2为对数底时,可以得到如下的函数曲线.可以看到,当p=0.5时,不确定性最大,熵的值是1,也最大,当p=0或1时,没有不确定性,熵的值最小,是0. 条件熵 我们在分析某个特征对随机变量的影响时,需要计算条件熵,即随机变量Y的信息

先介绍tf idf 在一份给定的文件里,词频(term frequency,tf)指的是某一个给定的词语在该文件中出现的频率.这个数字是对词数(term count)的归一化,以防止它偏向长的文件.(同一个词语在长文件里可能会比短文件有更高的词数,而不管该词语重要与否.)对于在某一特定文件里的词语来说,它的重要性可表示为: 以上式子中是该词在文件中的出现次数,而分母则是在文件中所有字词的出现次数之和. 逆向文件频率(inverse document frequency,idf)是一个词语普遍重要

简单介绍: 基于互信息的图像配准算法以其较高的配准精度和广泛的适用性而成为图像配准领域研究的热点之中的一个.而基于互信息的医学图像配准方法被觉得是最好的配准方法之中的一个.基于此.本文将介绍简单的基于互信息的图像配准算法. 预备知识 熵 熵(entropy)是信息论中的重要概念,用来描写叙述系统不确定性的測度,反映一个系统本身所能提供的信息总量.除去枯燥的概念.信息熵的数学表达式为: 当然,对于一幅图像来说,其熵的计算表达式例如以下:        hi表示图像Y中灰度值为i的像素点总数,N表示

Given n points on a 2D plane, find if there is such a line parallel to y-axis that reflect the given set of points. Example 1: Given points = [[1,1],[-1,1]], return true. Example 2: Given points = [[1,1],[-1,-1]], return false. Follow up: Could you d

A strobogrammatic number is a number that looks the same when rotated 180 degrees (looked at upside down). Write a function to count the total strobogrammatic numbers that exist in the range of low <= num <= high. For example,Given low = "50&qu

A strobogrammatic number is a number that looks the same when rotated 180 degrees (looked at upside down). Find all strobogrammatic numbers that are of length = n. For example,Given n = 2, return ["11","69","88","96"

A strobogrammatic number is a number that looks the same when rotated 180 degrees (looked at upside down). Write a function to determine if a number is strobogrammatic. The number is represented as a string. For example, the numbers "69", "

c#类库默认实现了一系列加密算法在System.Security.Cryptography; 命名空间下 对称加密 通过同一密匙进行加密和解密.往往应用在内部数据传输情况下.比如公司a程序 和B程序 .a程序要给B程序发送数据 但是为了防止明文发送 数据被窃取.那么我就定了一个协议传输的数据的byte字节都统一+1  而接收数据的情况下将Byte字节统一-1 然后就能获得正确的 数据(当然这个是一个简单的加密) ,真正应用的加密肯定比这个复杂很多 非对称加密 传输数据的双方有各自的公钥和私钥  

DES是一种对称加密(Data Encryption Standard)算法,于1977年得到美国政府的正式许可,是一种用56位密钥来加密64位数据的方法.一般密码长度为8个字节,其中56位加密密钥,每个第8位都用作奇偶校验. DES算法一般有两个关键点,第一个是加密模式,第二个是数据补位,加密模式的主要意义就是,加密算法是按块进行加密的,例如 DES ,是 64Bit 一个块的进行加密,就是每次加密 8 个字节,因此每次输入八个字节的明文输出八个字节密文,如果是 16 个字节,那么分成两个块依

对称加密的缺点是双方使用相同的密钥和IV进行加密.解密.由于接收方必须知道密钥和IV才能解密数据,因此发送方需要先将密钥和IV传递给接收方.这就 有一个问题,如果攻击者截获了密钥和IV,也就等于知道了如何解密数据!如何保证发送方传递给接收方的密钥和IV不被攻击者截获并破译呢? 源码:http://www.jinhusns.com/Products/Download/?type=xcj       不对称加密也叫公钥加密,这种技术使用不同的加密密钥与解密密钥,是一种“由已知加密密钥推导出解密密钥在

package demo.security; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.security.InvalidKeyException; import java.security.NoSuchAlgorithmException; import java.security.SecureRandom; import java.util.Base64; impor

/** * 简单对称加密算法之加密 * @param String $string 需要加密的字串 * @param String $skey 加密EKY * @return String */function encode($string = '', $skey = 'testphp') { $skey = str_split(base64_encode($skey)); $strArr = str_split(base64_encode($string)); $strCount = coun