ML 徒手系列 最大似然估计
1、最大似然估计数学定义:
假设总体分布为f(x,θ),X1,X2...Xn为总体采样得到的样本。其中X1,X2...Xn独立同分布,可求得样本的联合概率密度函数为:
其中θ是需要求得的未知量,xi是样本值。
此时,L(x,θ)是关于θ的函数,称之为似然函数。
求参数θ值使得似然函数值取最大值,这种方法称之为最大似然估计。》》MLE
2、如何求解最大似然估计
其中x是已知的,θ是需要求的变量值。如果最大似然函数可导,可以通过对θ求导的方式,取得L(x,θ)的极值。
在实际中为了方便计算,往往先对L(x,θ)取对数:
加入求导:
3、使用MLE推导逻辑回归
逻辑回归中使用sigmoid函数,将输出值确定在范围0到1之间。此时输出的值相当于概率中某一个样本的值。即上述所讲的X1,X2...Xn。
而sigmoid函数中所需要求的w,即为似然函数中的θ。
有如下公式:
1、sigmoid函数
此时没有截距b,加入后在归一化时会被约掉,所以干脆不使用b。
2、sigmoid求导
3、对数似然函数
概率分布为:
将上面两式子写作联合:
联合概率密度函数为:
构建似然函数:
4、求解MLE
5、与UFLDL中的RL结合,改变某些表述:
概率分布:
似然函数:
求解MLE:
矩阵形式:
得到似然函数对θ的导数后,使用梯度下降法来更新θ,使得最终的结果接近于label。
4、使用似然估计推导softma
(此处使用UFLDL中的公式,敲公式好麻烦。。。)
(1)概率
(2)似然函数
(3)对似然函数关于θq求导
似然函数展开:
求导:
最后,同样使用梯度下降法来求最优θ。
LR可以使用最大熵来推导,在后续给出。
参考:
有机会,会做一个UFLDL的总结博客。
最新文章
- ubuntu 好玩多了
- 容器--LinkedList
- 深入剖析iLBC的丢包补偿技术(PLC)
- ActionController::InvalidAuthenticityToken 解决办法(第二种尤其有效)
- ViewPager的简单例子
- Android 九宫格密码锁进入程序
- tail-head
- C#必须掌握的系统类
- maven项目发布不成功的问题
- 均值滤波去除图像噪声的matlab程序
- 雅虎军规以及Chrome调试
- 定义范围中的备选方案生成、横向思维、创建WBS、工作包定义、WBS、确认范围过程和实施质量过程的关系、联合应用设计和质量功能展开QFD
- WPF 系统关闭模式
- 打造自己Django博客日记
- codeforces259B
- 20189203《Linux内核原理与分析》第一周作业
- Unity 获取指定资源目录下的所有文件
- javascript中的getter和setter
- jmeter(五)JDBC Request
- P1494 小Z的袜子