Logistic Regression 笔记与理解
Logistic Regression 笔记与理解
Logistic Regression
Hypothesis 记为 H(theta)
H(theta)=g(z)
当中g(z),是一个叫做Logistic Function的函数。g(z)函数定义例如以下:
相应图像例如以下:
这是一个值域为0~1的s型函数,在理解中能够觉得:
落在曲线上的随意一点A
A的横坐标相应的纵坐标值是z參数,或者说z对象属于“1”的概率。
在Logistic Regression中
g(z)的參数z为:
一个线性或非线性函数的向量化表示
这个函数相应的图像被称作决策边界
两种决策边界的样例:
线性:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">
非线性:
为了方便,下面我们仅仅讨论线性边界的情况
线性边界的表示为
X’*theta
所以Logistic Regression Hypothesis 定义例如以下:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">
如上所说,Hypothesis定义了结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">
以上是Logistic Regression Hypothesis 的理解
Logistic Regression Cost Function 记为 J(theta)
Cost 的主要功能是计算H(theta)和答案Y的差距,在线性回归中这个差距能够用方差解决。可是Logistic问题仅仅有+-两种答案,所以Logistic Regression的Cost函数应该是这种:
整合为一个函数
我们便得到了Logistic Regression的Cost Function。
接下来就是求解Cost Function最小值的方法-梯度下降
或使用Matlab 内建miniziae函数
最新文章
- [No000082]Convert和Parse的区别/Convert.ToInt32()与int.Parse()的区别
- dll 劫持
- Android成长日记-数据存储之SQLite[2]
- 客户关系管理系统(CRM)的开发过程中使用到的开发工具总结
- Struts2 实战(一)
- Install MongoDB on Red Hat Enterprise, CentOS, Fedora, or Amazon Linux
- 码农谷 求前N项之和
- R-plot
- Golang时间格式化
- Python机器学习—导入各种数据的N种办法
- C#设计模式之十外观模式(Facade Pattern)【结构型】
- 【BZOJ2144】Throw 数论
- 从快感到成就感:多巴胺vs内啡肽
- HDOJ 1698 Just a Hook (线段树)
- service的生命周期
- es6 Set 结合 Array.from 用法
- sql 中有关时间的语句
- [转载]Browser Link feature in Visual Studio Preview 2013
- 转:pytorch版的bilstm+crf实现sequence label
- zedboard学习记录.2.PS+PL 流水灯与uart
热门文章
- 【Luogu】P2057善意的投票(最小割转最大流)
- VK Cup 2016 - Qualification Round 1——A. Voting for Photos(queue+map)
- HDU-2853 Assignment
- BZOJ3992 [SDOI2015]序列统计 【生成函数 + 多项式快速幂】
- BZOJ4816 [Sdoi2017]数字表格 【莫比乌斯反演】
- 刷题总结——pole(uva 1638 dp)
- [解决方案]Window 2008 R2 + IIS7.5 + VS2013 错误代码 0x80070002
- axis2生成webservice服务端返回String[]和String[][]一维数组和二维数组解析
- APUE 学习笔记(二) 文件I/O
- FOJ Problem 2253 Salty Fish