TensorFlow 辨异 —— tf.add(a, b) 与 a+b(tf.assign 与 =)、tf.nn.bias_add 与 tf.add(转)
2024-10-14 19:06:14
1. tf.add(a, b) 与 a+b
在神经网络前向传播的过程中,经常可见如下两种形式的代码:
- tf.add(tf.matmul(x, w), b)
- tf.matmul(x, w) + b
简而言之,就是 tf.add(a, b)
与 a + b
二者的区别,类似的也有,tf.assign
与 =
(赋值运算符)的差异。
在计算精度上,二者并没有差别。运算符重载的形式a+b
,会在内部转换为,a.__add__(b)
,而a.__add__(b)
会再一次地映射为tf.add
,在 math_ops.py
中相关的映射如下:
_OverrideBinaryOperatorHelper(gen_math_ops.add, "add")
In tensorflow what is the difference between tf.add and operator (+)?
2. tf.nn.bias_add 与 tf.add
tf.nn.bias_add 是 tf.add 的一个特例,也即 tf.add 支持的操作比 tf.nn.bias_add 更多。二者均支持 broadcasting(广播机制),也即两个操作数最后一个维度保持一致。
除了支持最后一个维度保持一致的两个操作数相加外,tf.add 还支持第二个操作数是一维的情况。
转自:https://blog.csdn.net/lanchunhui/article/details/66477742
最新文章
- In-Memory:内存数据库
- same story,different day
- vs2013的安装以及单元测试
- 理解并自定义HttpHandler
- oracle 存储过程发邮件
- javascript 停止事件冒泡以及阻止默认事件冒泡
- [AIR] AS3.0设置屏保功能
- __dict__和__slots__
- 初识-----基于Socket的UDP和TCP编程及测试代码
- vs2013+EF6+Mysql
- FZU 2238 Daxia &; Wzc's problem
- CodeForces 581D Three Logos
- LeetCode 40. Combination Sum II (组合的和之二)
- linux驱动之中断处理过程C程序部分
- C#高级编程9-第12章 动态语言扩展
- 碎碎念android eMMC【转】
- oracle数据库归档与非归档
- java 实现二分法
- Property Injection in Asp.Net Core (转载)
- vue 如何使用scss (转载)
热门文章
- Linux netstat命令查看并发连接数
- ajax事件执行顺序
- TreeSet多字段排序
- Spring Security数据库管理
- python基础易错总结
- Robot Operating System (ROS)学习笔记3---键盘控制
- python中的reverse
- 转载 logback的使用和logback.xml详解 http://www.cnblogs.com/warking/p/5710303.html
- git push error HTTP code = 413
- beego注解路由 [自定义方法]