神经网路的层数,损失函数(loss)
2024-10-08 12:28:31
神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数个数表示
神经网路的层数:一般不计入输入层,层数 = n 个隐藏层 + 1 个输出层
神经网路待优化的参数:神经网络中所有参数 w 的个数 + 所有参数 b 的个数
如:
在该神经网络中,包含 1 个输入层、1 个隐藏层和 1 个输出层,该神经网络的层数为 2 层。
在该神经网络中,参数的个数是所有参数 w 的个数加上所有参数 b 的总数,第一层参数用三行四列的二阶张量表示(即 12 个线上的权重 w)再加上 4 个偏置 b;
第二层参数是四行两列的二阶张量()即8 个线上的权重 w)再加上 2 个偏置 b。总参数 = 3*4+4 + 4*2+2 = 26。
损失函数(loss): 用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时,通过不断改变神经网络中所有参数,使损失函数不断减小,从而训练出更高准确率的神经网络模型。
常用的损失函数有均方误差、自定义和交叉熵等。
均方误差 mse:n 个样本的预测值 y 与已知答案 y_之差的平方和,再求平均值。 在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))
最新文章
- LUA学习笔记三·时间等操作系统库
- SharedPreferences的基本数据写入和读取
- Mvc4_MvcPager 概述
- mac终端下运行shell脚本
- JAVA程序,SESSION没有关闭导致数据库异常
- Error parsing HTTP request header Note: further occurrences of HTTP header parsing errors...java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are
- awk grep sed cut学习
- Nginx的负载均衡
- jQuery-4.动画篇---淡入淡出效果
- IIS 错误:处理程序“PageHandlerFactory-Integrated”在其模块列表中有一个错误模块“ManagedPipelineHandler”
- springmvc与fastjson的整合,注解@RequestBody的使用
- HDU - 5419 Victor and Toys(组合计数)
- Excel制作考勤管理
- html5 canvas 径向渐变
- UVALive 6911 Double Swords 树状数组
- LeetCode 总结
- ESXi主机遗忘密码重置密码
- Berkeley parser使用方法
- Oracle子查询之简单子查询
- FJOI游记(日记向 不定期更新)
热门文章
- 0219 springmvc-拦截器和响应增强
- MATLAB用“fitgmdist”函数拟合高斯混合模型(一维数据)
- linux常见目录介绍
- leetcode - 01
- linux 配置compoer
- [CodeIgniter4]讲解-加载静态页
- Spring IoC详解
- var s=+newDate();
- centos 7 源码安装openresty
- 剖析Javascript中forEach()底层原理,如何重写forEach()