转载自:AriesSurfer

原文见 http://blog.csdn.NET/acdreamers/article/details/27365941

Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多

变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是

否患有某种病。

在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类器,即Logistic Regression Classifier。

在分类情形下,经过学习后的LR分类器是一组权值,当测试样本的数据输入时,这组权值与测试数据按

照线性加和得到

这里是每个样本的个特征。

之后按照sigmoid函数的形式求出

由于sigmoid函数的定义域为,值域为,因此最基本的LR分类器适合对两类目标进行分类。

所以Logistic回归最关键的问题就是研究如何求得这组权值。这个问题是用极大似然估计来做的。

下面正式地来讲Logistic回归模型。

考虑具有个独立变量的向量,设条件慨率为根据观测量相对于某事件发生的

概率。那么Logistic回归模型可以表示为

这里称为Logistic函数。其中

那么在条件下不发生的概率为

所以事件发生与不发生的概率之比为

这个比值称为事件的发生比(the odds of experiencing an event),简记为odds。

对odds取对数得到

可以看出Logistic回归都是围绕一个Logistic函数来展开的。接下来就讲如何用极大似然估计求分类器的参数。

假设有个观测样本,观测值分别为,设为给定条件下得到的概率,同样地,

的概率为,所以得到一个观测值的概率为

因为各个观测样本之间相互独立,那么它们的联合分布为各边缘分布的乘积。得到似然函数为

然后我们的目标是求出使这一似然函数的值最大的参数估计,最大似然估计就是求出参数,使得

取得最大值,对函数取对数得到

继续对这分别求偏导,得到个方程,比如现在对参数求偏导,由于

所以得到

这样的方程一共有个,所以现在的问题转化为解这个方程形成的方程组。

上述方程比较复杂,一般方法似乎不能解之,所以我们引用了牛顿-拉菲森迭代方法求解。

利用牛顿迭代求多元函数的最值问题以后再讲。。。

简单牛顿迭代法:http://zh.m.wikipedia.org/wiki/%E7%89%9B%E9%A1%BF%E6%B3%95

实际上在上述似然函数求最大值时,可以用梯度上升算法,一直迭代下去。梯度上升算法和牛顿迭代相比,收敛速度

慢,因为梯度上升算法是一阶收敛,而牛顿迭代属于二阶收敛。

最新文章

  1. php:mysqli扩展
  2. c语言typedef的用法-解惑阿!很多天书般的东西解释的不错(转)
  3. 深入浅出之Smarty模板引擎工作机制(一)
  4. hdu2015java
  5. -_-#toFixed
  6. Delphi 做ActiveX的详细过程
  7. sql语句的截取字符串下标是从1开始
  8. Spark源码分析之分区器的作用
  9. C# 通过smtp服务器进行邮件发送 MailHelper
  10. twig模板基本学习
  11. Game Engine Architecture 2
  12. intellj(idea) 编译项目时在warnings 页签框里 报 “xxx包不存在” 或 “找不到符号” 或 “未结束的字符串字面值” 或 “需要)” 或 “需要;”等错误提示
  13. window.open打开新窗口 参数
  14. 23.Mysql应用优化
  15. Jersey 入门与Javabean
  16. window平台安装node.js绿色版
  17. x264改变输出分辨率的算法<转>
  18. php opensll加解密类
  19. 刷新SqlServer所有视图元数据的存储过程
  20. 第二百七十二节,Tornado框架-iframe标签框架伪造ajax

热门文章

  1. Unity3D for VR 学习(9): Unity Shader 光照模型 (illumination model)
  2. 洛谷 P2659 美丽的序列 解题报告
  3. 服务器版“永恒之蓝”高危预警 (Samba远程命令执行漏洞CVE-2017-7494) 攻击演示
  4. win7右键新建文件夹不见了
  5. hihoCoder #1582 : Territorial Dispute 凸包
  6. 「PLC」PLC基本编程
  7. ELK Betas 6.0安装及使用
  8. Python学习笔记(四十八)POP3收取邮件
  9. Linux下常用命令汇总
  10. Java学习遇到的问题