label smooth
2024-10-07 00:56:48
图像分类的一个trick,推导可参考这位博主https://leimao.github.io/blog/Label-Smoothing/
知乎上的讨论https://www.zhihu.com/question/65339831,有位博主用代码给出了一个直观的体验: label smooth是如何改变标签的。
label smooth相当于一个正则化的作用,用来防止过拟合,提高泛化性能;但如果网络本身就是欠拟合的,用这个可能意义就不大。
另有篇paper从可视化角度 When Does Label Smoothing Help,google brain的, Geoffrey Hinton大佬也在名单上呀
简单说就是,label smooth将类别分组,每组之间会有一个margin(类别之内更紧密,类别之间距离更大,也就是分得更开)。
最新文章
- VC界面最前端显示
- 认识IoC
- HTML页面实现返回顶部效果 go to top
- usb mass storage
- vs2015连接oracle 11g(.net自带方式 using System.Data.OracleClient;)
- 各种 starter poms (启动器)
- HBase Shell输入命令无法删除问题解决技巧
- 公告: 新博客已经迁移到 www.root.run
- Apache提示You don't have permission to access / on this server问题解决
- 创建组合索引SQL从1个多小时到1S的案例
- 自动滚动的TextView
- ORACLE分页SQL语句(转载)
- CUDA执行模型
- BATJ等公司必问的8道Java经典面试题,你都会了吗?
- 完美集群监控组合ganglia和nagios
- Caused by: java.lang.NumberFormatException: For input string: ";18446744073709551615";
- WebSocket实战之——JavaScript例子
- [Beego模型] 五、构造查询
- tar+nc传输文件的使用
- Go Example--关闭通道