Cost Function Summary
2024-09-24 17:11:23
Mean Square Error
\[cost(t,o)=\frac{1}{n}\sum\limits_{i=1}^n{(o-t)^2}\]
Binary Cross-Entropy
用于计算 target 和 output 之间的binary 交叉熵。\[cost(t,o)=-{[t\ln(o) + (1-t)\ln (1-o)]}\]
也可以写作:
\[cost(t,o)=\left\{\begin{array}{*{20}{l}}
{\ln o, ~~~~~~t=1,}\\ {\ln (1-o), t=0} \end{array}\right.\]
只不过上面的是一个分段函数,计算的时候不方便。
Categorical Cross-Entropy
度量两个分布之间的距离,记为 $H(p,q)$。
\[H(p,q)=-\sum\limits_x{p(x)\log (q(x))}\]
其中 $p$是 真实分布, $p=[p_1,p_2\cdots,p_n]$. $q$ 是近似分布,$q=[q_1,q_2\cdots,q_n]$.
当两个概率分布完全相同时,即:
\[p(x)=q(x),x=1,2,\cdots,n\]
其相对熵为0。
最新文章
- 9. 了解 Cocoa-百度百科
- DISCOVAR de novo
- 一张图让你学会LVM
- 如何在win7上面安装python的包
- error LNK2019: 无法解析的外部符号
- 爱上PowerShell
- Quartus14.1中Qsys创建custom component时编译出错原因
- Pearson相关系数
- Mybatis学习笔记一
- Dynamics CRM2016 Web Api之更新时间字段值
- Nginx安装与代理
- python 杨辉三角实现逻辑
- JS模块化工具require.js教程(二):基本知识
- MyEclipse10 复制之前的项目部署到tomcat时项目名称对不上,还是复制前的项目名称,哪里修改设置
- sqli-labs Less-11 and Less-12
- 3D 特征点概述(1)
- CentOS 服务器安全设置 --摘抄自https://www.kafan.cn/edu/8169544.html
- requests请求例子
- 自学Aruba1.1-WLAN一些基本常识
- Django-Filter源码解析一