keras模块之-优化器（optimizers）--笔记
2024-10-20 00:50:09
本笔记由博客园-圆柱模板 博主整理笔记发布，转载需注明，谢谢合作!
优化器是调整每个节点权重的方法，如：
model = Sequential()
model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh'))
model.add(Activation('softmax'))
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)
可以看到优化器在模型编译前定义，作为编译时的两个参数之一
代码中的sgd是随机梯度下降算法
lr表示学习速率
momentum表示动量项
decay是学习速率的衰减系数(每个epoch衰减一次)
Nesterov的值是False或者True，表示使不使用Nesterov momentum
以上4个参数以后具体学习了再解析
除了sgd，还可以选择的优化器有RMSprop（适合递归神经网络）、Adagrad、Adadelta、Adam、Adamax、Nadam
最新文章
- Java Socket
- 系统调用方式文件编程,王明学learn
- 为OpenResty增加nginx_upload_module模块
- 常用的 DOCTYPE 声明
- App开发到App Store上架，发布流程。
- React Native学习－CameraRoll
- Java [Leetcode 206]Reverse Linked List
- Redis rdb文件CRC64校验算法 Java实现
- C++ —— 笔记汇总
- Python+Django+SAE系列教程11-----request/pose/get/表单
- hdu 1565&&hdu 1569 (最大点权独立集)
- C#内存分配学习
- jquery里的attr()方法和prop()方法的区别
- Redis实际开发中常见问题
- p67交换幺环为整环的充要条件
- html的基本语法
- MySQL实验准备(二)--Python模拟数据(MySQL数据库)
- Centos6.5建立本地YUM源
- 基于std::mutex std::lock_guard std::condition_variable 和std::async实现的简单同步队列
- telnet 163发送邮件