图像分类的一个trick,推导可参考这位博主https://leimao.github.io/blog/Label-Smoothing/

知乎上的讨论https://www.zhihu.com/question/65339831,有位博主用代码给出了一个直观的体验:  label smooth是如何改变标签的。

label smooth相当于一个正则化的作用,用来防止过拟合,提高泛化性能;但如果网络本身就是欠拟合的,用这个可能意义就不大。

tf中可以直接使用https://stackoverflow.com/questions/55894459/how-to-use-tf-losses-sigmoid-cross-entropy-with-label-smoothing-in-keras

另有篇paper从可视化角度 When Does Label Smoothing Help,google brain的, Geoffrey Hinton大佬也在名单上呀

简单说就是,label smooth将类别分组,每组之间会有一个margin(类别之内更紧密,类别之间距离更大,也就是分得更开)。

最新文章

  1. VC界面最前端显示
  2. 认识IoC
  3. HTML页面实现返回顶部效果 go to top
  4. usb mass storage
  5. vs2015连接oracle 11g(.net自带方式 using System.Data.OracleClient;)
  6. 各种 starter poms (启动器)
  7. HBase Shell输入命令无法删除问题解决技巧
  8. 公告: 新博客已经迁移到 www.root.run
  9. Apache提示You don't have permission to access / on this server问题解决
  10. 创建组合索引SQL从1个多小时到1S的案例
  11. 自动滚动的TextView
  12. ORACLE分页SQL语句(转载)
  13. CUDA执行模型
  14. BATJ等公司必问的8道Java经典面试题,你都会了吗?
  15. 完美集群监控组合ganglia和nagios
  16. Caused by: java.lang.NumberFormatException: For input string: "18446744073709551615"
  17. WebSocket实战之——JavaScript例子
  18. [Beego模型] 五、构造查询
  19. tar+nc传输文件的使用
  20. Go Example--关闭通道

热门文章

  1. MySQL SQL查询优化技巧详解
  2. ubuntu下wps的安装
  3. linux常用命令(12)head命令
  4. 记一次flannel调试
  5. ubuntu 设置qt程序开机启动
  6. RazorSQL for Mac如何编辑数据?
  7. 【Lua程序设计第四版练习题答案】ch01 Lua语言入门
  8. C学习笔记-结构体
  9. Python进阶编程 类与类的关系
  10. Hive 教程(八)-hiveserver2