贪玩ML系列之CIFAR-10调参
2024-08-26 16:32:30
调参方法：网格调参
tf.layers.conv2d()中的padding参数
取值“same”，表示当filter移出边界时，给空位补0继续计算。该方法能够更多的保留图像边缘信息。当图片较小（如CIFAR-10中的32*32）时，推荐使用该选项
取值“valid”，表示当filter移出边界时，舍弃该filter
tf.layers.conv2d()中的filters参数
一般取值：
一般越靠后的层，我们将它的filters取的更多一些，一是为了保留更多的信息，二是为了提取更多抽象的特征
tf.layers.conv2d()中的kernel_size参数和strides参数
tf.layers.max_pooling2d()中的pool_size参数和strides参数
kernel参数一般取7/5/3/1等，strides一般取3/2/1等
一般越靠后的层，我们将kernelsize取的越大一些，strides不变
tf.layers.dense()中的units参数
一般取值：1024/2048/4096
tf.train.AdamOptimizer()中的learning_rate参数
一般取值：0.001/0.01/0.1/0.0001
一般在训练开始时我们将learning_rate调大让模型加速下降，在训练一段时间后我们将learning_rate调小让模型更易收敛
epochs参数（批次数）
这个不确定，一般我们写一个脚本，判断当validation accuracy不断小幅度波动时停止
batch_size参数
一般取64/128/256
图片大的时候取小一点，防止炸内存（例如CIFAR-10中图片小，32*32，所以我们可以取大一点的例如256）
理论上取大一点好
一般取2的整数次方
keep_probability参数
一般默认0.5
conv_pooling的层数
随缘，深的能力强
最新文章
- 尚学堂Spring视频教程（六）：AOP Annotation
- SQL基础之数据库
- 说说JSON和JSONP，也许你会豁然开朗
- 原生js快速渲染dom节点
- MySQL中自己不太常用的命令
- iOS开发中（null）与<null>的判断
- 数据结构与算法课程作业--1014. Translation
- elecworks 图框管理器
- Extjs 更新数据集Ext.PagingToolbar的start参数重置的处理
- hadoop错误org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2
- poj 1811 Pallor Rho +Miller Rabin
- windows 安全模型简介
- day0203 XML 学习笔记
- gulp构建自动化项目
- hdoj：2050
- Bugku-CTF之管理员系统+程序员本地网站
- Java StringBuffer和StringBuilder类
- [No0000100]正则表达式匹配解析过程分析(正则表达式匹配原理)＆regexbuddy使用＆正则优化
- DataGuard 配置须知
- wcf会话、实例化、并发