URL:http://ydwen.github.io/papers/WenECCV16.pdf
这篇论文主要的贡献就是提出了Center Loss的损失函数,利用Softmax Loss和Center Loss联合来监督训练,在扩大类间差异的同时缩写类内差异,提升模型的鲁棒性。


为了直观的说明softmax loss的影响,作者在对LeNet做了简单修改,把最后一个隐藏层输出维度改为2,然后将特征在二维平面可视化,下面两张图分别是MNIDST的train集和test集,可以发现类间差异比较明显,但是类内的差异也比较明显。

为了减小类内差异论文提出了Center Loss:
大专栏  Center Loss - A Discriminative Feature Learning Approach for Deep Face Recognition-Deep-Face-Recognition-image004.png" alt=""/>
Cyi就是类的中心点特征,Cyi的计算方法就是yi类样本特征的均值,为了让center loss在神经网络训练过程中切实可行,Cyi的计算是对于每一个mini-batch而言,因此结合Softmax Loss,整个网络的损失函数就变成了, λ用来平衡这两个Loss:

用同样的网路结构只是将Softmax Loss替换成Center Loss作者在MNIST数据集上做了同样的实验,对于不同的λ值得到了如下可视化结果可以发现Center Loss还是比较明显的减小了类内差异同时类间差异也比较突出。

在公开数据集上的表现:

最新文章

  1. GitHub的使用记录
  2. Nodejs简单介绍以及在windows环境下安装与配置流程
  3. jQuery自动分页打印表格(HTMLtable),可以强制换页
  4. STL中的map/multimap小结
  5. TP复习8
  6. JS的replace方法【转】
  7. 初涉JavaScript模式系列 阶段总结及规划
  8. 使用 ServKit(PHPnow) 搭建 PHP 环境[图]
  9. 安装AppManager
  10. 使用Boost.PropertyTree处理XML、JSON和INI数据
  11. 【Ubuntu Desktop】VMware 中 Unknown Display
  12. 9.C++-对象的构造函数(详解)
  13. ZOJ 3886 Nico Number(筛素数+Love(线)Live(段)树)
  14. css实现右侧固定宽度,左侧宽度自适应
  15. [wx]雪落香杉树人物关系图
  16. python的zipfile、tarfile模块
  17. django表单的Widgets
  18. nginx安装脚本
  19. handle exceptions, opening and closing database connections
  20. C# 对后台方法事件,可以直接return; 跳出

热门文章

  1. JavaScript学习笔记 - 入门篇(2)- 常用互动方法
  2. 简单总结------redis
  3. Matlab高级教程_第四篇:白噪声的MATALB生成方式
  4. InsertionSort(插入排序)原理及C++代码实现
  5. 6.windows-oracle实战第六课 --数据管理
  6. python画图例子代码
  7. 17)PHP,函数基础和参数问题
  8. E、阔力梯的树
  9. Django静态文件配置-request方法-ORM简介-字段的增删改查
  10. vue中axios的post请求使用form表单格式发送数据