PID optimizer
2024-09-05 01:25:33
如何评价PID optimizer?
论文链接:http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_PID.pdf
作者github:https://github.com/tensorboy/PIDOptimizer
论文中只跟Momentum作了比较,没有跟其他优化器做过比较。不知道有没有大佬试过?
作者:知乎用户
链接:https://www.zhihu.com/question/322746326/answer/671758212
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
链接:https://www.zhihu.com/question/322746326/answer/671758212
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
我觉得这篇文章相比于算法PID本身,他在自动控制和深度学习之间建立起的connection更有意思一点。
在控制理论中建立起的对应:
虽然他没有严格理论证明,不过从直观上来看,还是挺make sense的。这样就说明,我们可以大胆地吧自动控制里面的公式拿进来疯狂水文章了hh
就算法本身来讲,个人认为他的新算法是不是真的比旧有的算法好还是有待商榷的。
他在本文中建立起了一个挺大的筐,等式右边第一项是proportional (P),第二项integral (I)和第三项derivative (D):
并且说明旧有的算法(SGD、Momentum、Nesterov0s Momentum)都是可以被这个框架含括的。看起来很美好。
但是,您测试的时候,敢不敢稍微认真点啊!能不能别专挑弱鸡打啊!
- 数据集:MNIST、CIFAR10、Tiny-ImageNet,这都是演示用的数据集吧,是男人就上ImageNet和coco!
- 优化器:前人已经搞出不少专门针对SGD和momentum优化的优化器了,比如AdaGrad、RMSProp和Adam,你为什么不跟他们比呢?这不是有欺负老头老太太的嫌疑么?
- 引用文献:虽然这个颇有鸡蛋里面挑骨头的意味,但是都9102年了,您的论文引用连一篇2018年的文章都没有。对于像深度学习这样比较火,比较讲究前沿的学科,不太合适吧?
最新文章
- 2014 Multi-University Training Contest 9
- AngularJS快速开始
- Liunx+C编程一站式学习
- XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks
- VC2008如何生成及使用DLL(完整版)
- mac 下安装和卸载 mysql
- CSS3阴影 box-shadow的使用和技巧总结[转]
- final、finally、finalize差异
- Hybris license过期的解决办法
- Swift初始化空字符串
- C++与Java通过WebService通信(上)
- mysql之查询
- Robot Framework脚本在jenkins执行完之后无法查看日志
- mybatis源码-解析配置文件(四-1)之配置文件Mapper解析(cache)
- 「POJ3696」The Luckiest number【数论,欧拉函数】
- SELINUX工作原理
- intellij idea 2018
- 关于事件冒泡和键盘事件 以及与Angular的区别
- vuejs学习资料
- Javascript设计模式理论与实战:享元模式