[机器学习]Generalized Linear Model
最近一直在回顾linear regression model和logistic regression model,但对其中的一些问题都很疑惑不解,知道我看到广义线性模型即Generalized Linear Model后才恍然大悟原来这些模型是这样推导的,在这里与诸位分享一下,具体更多细节可以参考Andrew Ng的课程。
一、指数分布
广义线性模型都是由指数分布出发来推导的,所以在介绍GLM之前先讲讲什么是指数分布。指数分布的形式如下:
η是参数,T(y)是y的充分统计量,即T(y)可以完全表达y,通常T(y)=y。当参数T,b,a都固定的时候,就定义了一个以η为参数的参数簇。实际上,很多的概率分布都是属于指数分布,比如:
(1)伯努利分布
(2)正态分布
(3)泊松分布
(4)伽马分布
等等等。。。。
或许从原本的形式上看不出来他们是指数分布,但是经过一系列的变换之后,就会发现他们都是指数分布。举两个例子,顺便我自己也推导一下。
伯努利分布:
那么b(y)=1,T(y)=y,η=log(φ/(1-φ)),a(η)=log((1-φ)),则φ=1/(1+e-y),这个就是sigmoid函数的由来。
同样我们对正态分布做变换,不过在这里我们要假设方差为1,以为方差并不影响我们的回归。
我们可以看到η=µ。
二、广义线性模型
介绍完指数分布后我们可以来看看广义线性模型是怎样的。
首先广义线性模型有三个假设,这三个假设即是前提条件也是帮助我们构造模型的关键。
(1)P(y|x;θ)~ExpFamliy(η);
(2)对于一个给定x,我们的目标函数为h(x)=E[T(y)|x];
(3)η=ΘTx
根据以上三个假设我们就能推导出logistic model 和 最小二乘模型。Logistic model 推导如下:
h(x)=E[T(y)|x]=E[y|x]=φ=1/(1+e-η)=1/(1+e-ΘTx)
对于最小二乘模型推导如下:
h(x)=E[T(y)|x]=E[y|x]=η=µ=ΘTx
从中我们将把η和原模型参数联系起来的函数称之为正则响应函数。所以对于广义线性模型,我们需要y是怎样的分布,就能推导出相应的模型。有兴趣的可以从多项式分布试试推导出SoftMax回归。
最新文章
- mongoDB的安装(一)
- Selenium WebDriver 处理table
- flume file channel 异常解决
- Python Queue队列
- 关于 List<;T>;
- HTML之正则表达式
- 单元测试+修改BUG
- js判断年龄是否在0-100之间
- Kubernetes使用cephfs作为后端存储
- 普通程序员如何入门AI
- MD5加密--Java
- BZOJ_3307_雨天的尾巴_线段树合并+树上差分
- 4月18日 MySQL学习
- Excel VBA 连接各种数据库(一) VBA连接MySQL数据库
- ES6优缺点
- .net core Kestrel宿主服务器自定义监听端口配置
- 平均数_中位数_众数在SqlServer实现
- AutoIt 软件自动化操作
- Using Fetch
- python中 =、copy、deepcopy的差别
热门文章
- radio实现第一次点击选中第二次点击取消
- 【CTO俱乐部研修班开课】看板先驱David J. Anderson:看板核心在于创造一种能力——提升敏捷性
- 【9112】求2的n次方的精确值
- C++重载加号运算符实现两个结构体的相加
- ajax的跨域请求问题:减少options请求
- javascript的回调函数 同步 异步
- wpf控件设计时支持(2)
- Information centric network (icn) node based on switch and network process using the node
- 从DOS bat启动停止SQL Server (MSSQLSERVER)服务
- silverlight,WPF动画终极攻略之阳光灿烂篇(Blend 4开发)