ubuntu之路——day10.1 ML的整体策略——正交化
2024-09-26 15:51:48
orthogonalization
正交化的概念就是指,将你可以调整的参数设置在不同的正交的维度上,调整其中一个参数,不会或几乎不会影响其他维度上的参数变化,这样在机器学习项目中,可以让你更容易更快速地将参数调整到一个比较好的数值。
打个比方,当你开车的时候假设有一个按钮1:0.3angle-0.8speed 还有一个按钮2:2angle+0.9speed 那么理论上来说通过调整这两个按钮,可以得到你想要的角度和速度,但是在实际操作中我们肯定希望角度和速度的控制方式是单独且互不影响的,这就是正交化
对于一个supervised learning system,我们要调整按钮来确保四件事情
1.在training set上表现不错
2.在dev set上表现不错
3.在test set上表现不错
4.在real world领域表现不错
所谓表现不错,通常来说就是与human performance相比较,具体的方法会在之后的博文介绍
那么按钮在DL中是什么呢?
针对training set
按钮:更深的神经网络、更好的优化算法
针对dev set
按钮:regularization即正则化、增大training set
针对test set
按钮:增大dev set
针对real world:
按钮:改变dev set、改变cost function
tips:我们在之前提到了early stop即提早停止的技巧 但是这种技术并不符合正交化的思维,因为在使用提早停止的时候,training set和dev set的表现会被同时影响,所以如果有多个方式可以使用,最好先别用early stop
最新文章
- js学习篇1--数组
- PHP的变量
- [PL/SQL]oracle数据库的导出导入
- noi 4977 怪盗基德的滑翔翼
- Js组件的一些写法【转】
- JavaScript学习之窗口
- Expanding Rods(二分POJ1905)
- ntelliJ IDEA 14 注册码
- 从工程中删除Cocoapods
- jquery学习 (3)文本框获取焦点之后变换样式
- hibernate 关于主键
- Oracle 生成工作日历表
- libpcap 库使用(一)
- 2019.01.02 NOIP训练 三七二十一(生成函数)
- HDU 4681 string 求最长公共子序列的简单DP+暴力枚举
- gulp实用配置(1)——demo
- flask第二十二篇——模板【4】过滤器
- 关于Cookie跨域的问题研究
- 【BZOJ4275】[ONTAK2015]Badania naukowe DP
- 20165202 2017-2018-2 《Java程序设计》第7周学习总结