加州理工学院公开课:机器学习与数据挖掘_Regularization(第十二课)
课程简单介绍:
最后讲述了选择 Regularization 的一些启示式方法。
课程大纲:
1、Regularization
1、Regularization
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="500" alt="">
然后就能够利用之前学习过的 Linear Regression 知识进行计算、推导。
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
图中的线都是等高线,箭头表示的是最大梯度方向。Wlin表示在没有限制条件的情况下得到的最小的Ein相应的W值。为了得到最小的 Ein,能够不断缩小蓝色圈。使得图中两个圈相切,此时有 Ein 最小。切点就是相应的 W (如果Wlin不包括在红色圈中,否则限制条件也就没有意义了),此时有蓝色箭头和红色箭头在同一条直线上并且方向相反,即 ▽Ein(Wreg) 正比于 -Wreg。
为了方便,我们如果比例系数是:-2λ/N,之所以要加上
常系数是由于这样有利于推导过程的顺利进行,λ 的取值将直接对结果产生影响。
最后一步的最小化结果就是解。(求导 = 0得到的等式跟倒数第二个等式形式一致,这也是为什么要加上那两个常系数的原因),为了方便,令最后一个等式为 Eaug(W),表示添加限制条件下的 Ein。
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="500" alt="">
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="500" alt="">
因此选取的时候须要小心。
2、Weight decay
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="500" alt="">
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZmVpdGlhbmh1MjEz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
Ω(h),当中 Ω 表示Regularizer。通过
Ω 对如果集添加限制条件。
非常相似。
Ω ?
3、Choosing a regularizer
最新文章
- JAVA 日期格式工具类DateUtil.java
- 使用Xunit进行单元测试
- Mac Pro 安装 Sublime Text 3,个性化设置,主题 和 插件 收藏
- php : 基础(5)
- Android Fragment (二) 实例1
- 关于网页控件设置成disabled以后,提交不到后台的问题
- Android学习系列(38)--Android源码下载和编译
- java 12 - 5 带有缓冲区的字符流
- 静态成员变量.xml
- Python数据结构——二叉树的实现
- js中的new关键字都干了些什么?
- Makefile学习(二)[第二版]
- Java学习之道:jdk环境变量配置方法
- absolute 的containing block( 容器块)计算方式跟正常流有什么不同?
- 分布式任务调度系统xxl-job源码探究(一、客户端)
- SpringMvc整合Mybatis并使用声明式事务
- js地址多选实现,居住地,户口,职业,行业多选1
- 关于Unity中红外线瞄准的效果实现
- 如何1秒批量提取电脑文件夹中的所有文件、文件夹名字到txt/excel
- python爬虫模块之调度模块