global_step=tf.Variable(0, trainable=False)     

设定trainable=False 可以防止该变量被数据流图的 GraphKeys.TRAINABLE_VARIABLES 收集, 这样我们就不会在训练的时候尝试更新它的值。

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_steps)

因为指数衰减的学习率是伴随global_step的变化而衰减的,所以当global_step不改变时,学习率也变成一个定值。

综上所述:损失函数优化器的minimize()中global_step=global_steps能够提供global_step自动加一的操作。

这里有个额外的疑虑说明:global_steps是等号右边,在编程语言里面通常当作定值(即不会受函数影响)赋值给等号左边的global_step。然而,在这个优化器里面能够使得右边的变量自动加一。这确实是编程语言里面少见的,也是需要特别注意的。

最新文章

  1. scrollview 嵌套 折叠效果
  2. COG注释--转载
  3. JAVA开发错误总结(仅记录遇到的错误---后续不断更新......)
  4. stm32通用定时器步骤
  5. quartz学习
  6. 介绍开源的.net通信框架NetworkComms框架 源码分析(九) IPConnection
  7. T-SQL 的简单查询语句
  8. 做完c语言作业的心得
  9. CareerCup Chapter 9 Sorting and Searching
  10. [转]Asp.Net调用前台js调用后台代码分享
  11. perl 调用按钮输出到文本框
  12. javascript第十六课:动态注册事件
  13. [CSS3] 学习笔记-CSS3选择器详解(一)
  14. Visual Studio AI环境记录(Windows10)
  15. Liferay7 BPM门户开发之11: Activiti工作流程开发的一些统一规则和实现原理(完整版)
  16. 全网最详细的IDEA里如何正确新建普通的Java web项目并发布到Tomcat上运行成功【博主强烈推荐】(类似eclipse里同一个workspace下【一个子项目】并存)(图文详解)
  17. Spring Cloud集成EDAS(替代Eureka)
  18. Revit对齐工具之多重对齐
  19. Nginx性能优化
  20. ubuntu16.04安装tensorflow-gpu和cuda8.0加速训练

热门文章

  1. mfc进制转换
  2. sicily 题目分类
  3. php——get与post方法(转)
  4. Oracle12C查询自建用户(非系统自带)
  5. python编程基础
  6. Mathab和Python的numpy中的数组维度
  7. [洛谷P3948]数据结构
  8. JAVA jsp page指令的属性 errorPage 和isErrorPage
  9. 搭建app自动化测试环境(一)
  10. 在swt中获取jar包中的文件 uri is not hierarchical