smooth L1损失函数
2024-09-05 01:46:36
当预测值与目标值相差很大时，L2 Loss的梯度为(x-t)，容易产生梯度爆炸，L1 Loss的梯度为常数，通过使用Smooth L1 Loss，在预测值与目标值相差较大时，由L2 Loss转为L1 Loss可以防止梯度爆炸。
L2 loss的导数（梯度）中包含预测值与目标值的差值，当预测值和目标值相差很大，L2就会梯度爆炸。说明L2对异常点更敏感。L1 对噪声更加鲁棒。
当差值太大时, loss在|x|>1的部分采用了 l1 loss，避免梯度爆炸。原先L2梯度里的x−t被替换成了±1, 这样就避免了梯度爆炸, 也就是它更加健壮。
总的来说：相比于L2损失函数，其对离群点、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。
最新文章
- Android UI体验之全屏沉浸式透明状态栏效果
- 防篡改php文件校验程序
- Javascript高级程序设计
- Flume学习——Flume的架构
- [jquery]基础篇--this与$this区别
- 《算法：C语言实现》阅读笔记
- bzoj4002
- Codeforces 241B
- 网易云课堂_程序设计入门-C语言_第六章：数组_1多项式加法
- hdu What Are You Talking About（map）
- 【bzoj2331】[SCOI2011]地板
- python： 列表的方法
- CodeForces666E Forensic Examination
- 第一册：lesson thirty three。
- Markdown语法参考
- Android接听、挂断电话
- 如何设置Vmware下Linux系统全屏显示
- idea 2018注册码（激活码）永久性的
- WinForm ListView不分页加载大量数据
- PAT——1024. 科学计数法