Logistic Regression 的简单推导
2024-10-02 00:50:43
Logistic Regression 是一种 Generalized Linear Model(GLM),也即广义线性模型。
1. LR 的基本假设
LR 模型假设观测值 y 成立的对数几率(log-odds)能够表示为 K 重输入变量的线性组合:
logP(x)1−P(x)=∑j=0Kbjxj
其中 x0=1(特征向量进行增广),待求的模型共 K+1 个参数。等式左边被称为 logit of P(这也是 logistic regression 得名的原因)。
等式两边同时取对数:
P(x)1−P(x)=exp⎛⎝∑j=0Kbjxj⎞⎠=∏j=0Kexp(bjxj)
这样的等式形式清晰地说明了,logistic 模型与输入之间是乘性关系,而不是线性模型的加性关系,这种加性关系也给了我们一种解释系数的方式。比如 exp(bj) 就表明了,随着 xj 增加一个单位(xj⇒xj+1),模型的输出为真的几率增加的大小(也即 exp(bj))。考虑 bj=0.693,则 exp(bj)=2,如果此时 xj 表达的是数值变量,比如年龄,xj 变量没增加 1 岁,模型输出为真的几率就变为之前的 2 倍。
如果记 z=∑j=0Kbjxj,上述等式又可转化为:
P(x)=11+exp(−z)
等式右端被称为 sigmoid 函数(关于 z),
最新文章
- 条码固定资产管理PDA应用
- iOS NSOperation 封装 通知实现界面更新
- JavaScript 32位整型无符号操作
- matplotlib example
- iOS通过http post上传图片 (转)
- jquery 实现table的动态合并列
- seckill(1)秒杀系统主要步骤
- c# devexpress 多文档界面
- android progressdialog 对话框试用实例
- 下载从网页里面提取出来的图片(将url指向的图片下载并保存、从命名)
- MySQL复制 -- 复制出错怎么办?
- order by 的列名不能参数化,要拼sql
- 使用POI操作Excel时对事先写入模板的公式强制执行
- 170704、springboot编程之CommandLineRunner
- ORACLE 中如何截取到时间的年月日中的年
- copy_from_user分析
- [Exception Spring 1] - Attribute value must not be null
- openerp所用QWEB2的调试笔记
- Gradle for Android(三)多渠道打包、配置签名信息
- kong的preserve_host和strip_uri解析
热门文章
- autohotkey 自动登录输入用户名密码 getElementsByTagName/getElementsByClassName/getElementById
- BI并不是万能,中层业务管理报表要另辟蹊径
- SDWebImage使用
- 强力推荐微信小程序之简易计算器,很适合小白程序员
- 【record】11.14..11.20
- System.ComponentModel.Win32Exception (0x80004005):拒绝访问。——解决办法
- 学习Numpy
- ArcEngine 数据导入经验(转载)
- [Angular] Scrolling the Message List To the Bottom Automatically Using OnChanges
- poj 2965 The Pilots Brothers&;#39; refrigerator