我们在进行back propagation时难免会出现各种各样的问题，当出现问题的时候，我们的cost function仍然是随着迭代的次数下降的，但是这中间会有一些问题存在，那么我们如何来检查我们的算法是否会出现这些不易被发现的问题呢？

gradients的近似表达

上面是导数的近似表达式，取左边的双边近似而不是右边的单边近似，通常ξ取10-4,如果取得太小则会给计算带来很大的麻烦。

θ是unrolled vector时，计算J(θ)对θi的导数的近似值

用for来实现求导的近似表达

theta为神经网络中所有的参数组成的向量，我们对所有的参数分别求导来计算gradApprox.

我们通过back propagation计算的DVec是对所有参数的导数，我们通过比较gradApprox与DVec这两个数是否是近似相等来判断我们的back propagation是否是正确的。

实现时需要注意的一些问题

在我们检查完back propagation是正确的后，进行学习前，我们要将gradient checking关掉。因为我们使用back propagation对导数进行计算比用numerical gradient algorithmn来计算要快得多，所以在我们验证back propagation是正确的后，在training your classifier之前，我们要将gradient checking code关掉。

总结

在我们实现back propagation或者一种复杂的算法的时候，我们通常会使用numerical gradient来验证其是否正确。

最新文章

  1. canvas ：曲线的面积图 加渐变效果
  2. 达梦7的试用 与SQLSERVER的简单技术对比
  3. ENode框架Conference案例分析系列之 - ENode框架初始化
  4. js字符串截取函数slice()、substring()、substr()
  5. Windows命令行提取日期时间
  6. PAT 07-3 求素数
  7. lucene文件格式待整理
  8. 2014 BDTC 參会有感
  9. [译]Java 设计模式之外观
  10. python第四课——线程、进程、协程
  11. IKAnalyzer结合Lucene实现中文分词
  12. 杭电ACM2009--求数列的和
  13. py001
  14. Linux系统中安装Oracle数据库
  15. 微信小程序入门（二）
  16. JavaScript深入之从原型到原型链
  17. Javaweb学习笔记——（十四）—————— 服务器端验证注册登入表单项目
  18. [Android] QPST,解BL锁,刷Recovery,备份系统,root,刷框架.
  19. Linux系统学习之软件安装
  20. LAMP和LNMP去除index.php访问

热门文章

  1. SpringBoot 的拦截器
  2. python技巧 — 整合 User-Agent 大全汇总
  3. python基础 — turtle 介绍
  4. 爬虫解析库beautifulsoup
  5. PHP生成随机单词
  6. if的条件表达式
  7. UOJ343 清华集训2017 避难所 构造、打表
  8. go语言学习 ---struct 对象的序列化和反序列化（xml）
  9. mac环境下Android 反编译
  10. FreeRTOS优先级翻转