CS231n 2016 通关 第六章 Training NN Part2
本章节讲解 参数更新 dropout
=========================================================================================
上节内容回顾与总结:
模型过程:
激活函数:注意理解各个函数的优缺点
数据预处理:
权重参数初始化:Xavier方法,使用较多。
batch normalization :
cross validation :比较loss 结果,选择合适学习率
=========================================================================================
本章知识点:
=========================================================================================
Parameter Update :
训练NN的代码结构:
最后一行即为参数更新。
sgd的轨迹:
因为minibatch的原因,在波动中收敛。
Momentum update
加入了动量,加速收敛。
SGD vs Momentum
Momentum 直观解释:
Nesterov Momentum :
更新公式比较:
AdaGrad update : 前两种是在更新方式上的算法,接着总结学习率更新的算法
自适应梯度,根据误差项来调整学习率。
显然,在误差较大时学习率低,当误差减小时,学习率升高。
RMSProp update :
Adam update :
Learning rate :
可以使用开始时较大的学习率,之后逐步衰减的方法。
第二种优化方法:
损失函数泰勒展开:
这种方法,不需要超参数,学习率等。但是不实用,因为需要计算H-1,即海森矩阵。其比较庞大。
拟牛顿法:
实际应用:
=========================================================================================
model ensemble :在测试的时候,使用多个模型,对结果做平均值。
一些技巧:
=========================================================================================
Dropout :
示意图:
代码结构:
模型实例:
测试阶段:没有dropout
在training 阶段做出一些调整:
修改后:
两种方式:
=========================================================================================
CNN 发展过程
视觉系统是由简单结构到复杂结构,信号的抽象过程。
拟生视觉网络。
现阶段:分类、复原、识别应用广。
附:通关CS231n企鹅群:578975100 validation:DL-CS231n
最新文章
- 表单元素的submit()方法和onsubmit事件
- 高可用mysql之MHA源码剖析
- rhel7报错整理
- 酷!使用 jQuery &; Canvas 制作相机快门效果
- Linux基本操作1 - 设备操作
- ROSE User Case View
- centos7 安装mariaDB 以及 phpmyadmin的安装
- Nginx+uWSGI+Django+Python+ MySQL 搭建可靠的Python Web服务器
- [转载]Log4net学习笔记
- (一)Memcached初学教程之安装服务篇(Windows下)
- jQuery弹出层_点击自身以外地方关闭弹出层
- css考核点整理(二)-css层叠机制
- javascript技巧大全套
- VB.net DateTimePicker 初始化为空,选择后显示日期
- jQuery中$(function(){})与(function($){})(jQuery)、$(document).ready(function(){})等的区别详细讲解 ----转载
- [SHOI2011]双倍回文
- Day1-浅谈接口测试
- 【Python撩妹合集】微信聊天机器人,推送天气早报、睡前故事、精美图片分享
- spass按位置编码,进行排序题处理与分析
- mui---自定义页面打开的方向
热门文章
- maven项目The superclass ";javax.servlet.http.HttpServlet"; was not found on the Java Build Path
- Encoding::CompatibilityError: incompatible character encodings: GBK and UTF-8
- Android中怎样控制LogCat的自己定义输出
- VSCode 配置python
- 实现RTSP摄像机进行网页直播和微信直播的技术方案:EasyNVR自动更新方法
- wait() 区别 sleep()
- 九度OJ 1027:欧拉回路 (欧拉回路)
- Swift 学习笔记 (枚举)
- JAVA中equals()与==的区别详解
- 20145239杜文超 《Java程序设计》第8周学习总结