从Odds:比值比推导出Logtic分类的算法
2024-08-31 16:48:04
在从概率模型推导出逻辑回归算法模型的博文中,我试着从李宏毅老师的课程中讲到的概率模型去推导逻辑分类的算法模型。有幸看到另外一篇博文01 分类算法 - Logistic回归 - Logit函数,我了解到另外一种分类模型的推导:从比值比推导。
比值比
首先了解什么是比值比:比值比(优势比)Odds,用来衡量特征中分类之间关联的一种方式。指的是该事件发生的概率与该事件不发生的概率的比值:\(\frac{p}{1-p}\). 百度百科解释。
Logit模型
我们需要了解另外一个概念Logit模型Logit函数百度百科解释另外这篇也讲解了一些Logit 是怎么算的?。
关联
我们认为logit(odds)和特征值X之间存在某种线性关系,即:\(logit(odds)=wx+b\)
进一步推导。
\[
logit(odds)=ln(\frac{p}{1-p})=wx+b
\]
\[
\frac{p}{1-p}=exp(wx+b)
\]
设
\[
z=wx+b
\]
得
\[
\frac{p}{1-p}=exp(z)
\]
\[
p=\frac{exp(z)}{1+exp(z)}=\frac{1}{1+exp(-z)}
\]
用到的主要数学方面的知识:极大似然函数,比值比,logit模型,基本上都是统计学的知识,看来这个将是我下一步复习和学习的方向。
最新文章
- DataTable添加行和列数据
- JQuery ztree 异步加载实践
- jQuery基础知识— 获得内容和属性
- shell 脚本执行日志通用模块
- Shell循环处理
- Unix/Linux环境C编程入门教程(41) C语言库函数的文件操作详解
- NYOJ130 同样的雪花 【Hash】
- Vbox 未指定XXX网络名称 找不到网卡问题
- VBS get,post函数
- Rotate Array leetcode
- AB串
- [PHP] 按位与&; 或| 异或^ 的日常使用
- react学习目录
- --save-dev --save 的区别
- 异常详细信息: System.BadImageFormatException: 未能加载文件或程序集“Maticsoft.Common”或它的某一个依赖项。试图加载格式不正确的程序。
- Protobuf一例
- 一篇文全面了解DevOps:从概念、关键问题、兴起到实现需求
- C#和java的对比及总结
- Unicode 和 UTF-8 的区别
- [LeetCode] 181. Employees Earning More Than Their Managers_Easy tag: SQL