TensorRT 数据格式说明
2024-10-19 09:18:57
TensorRT数据格式说明
NVIDIA TensorRT支持不同的数据格式。需要考虑两个方面:数据类型和布局。
数据类型格式
数据类型是每个单独值的表示。它的大小决定了数值的范围和表示的精度;分别是FP32(32位浮点或单精度),FP16(16位浮点或半精度),INT32(32位整数表示)和INT8(8位表示)。
布局格式
布局格式决定了存储值的顺序。通常,批次维度是最左侧的维度,其它维度指的是每个数据项的各个方面,例如C 是频道 H 是高度,并且 w ^是宽度(以图片为单位)。总是忽略在这些之前的批量大小,C, H和 w ^ 通常依据以下示意图中。
定义了更多格式,以将通道值打包在一起并降低精度。因此,TensorRT也支持格式 NC/2HW2 和 NHWC8。
在 NC/2HW2,每对通道值打包在一起 高宽矩阵(在奇数通道的情况下为空值)。结果是一种格式,其中的值 ⌈C/2⌉高宽矩阵是两个连续通道的值对。
This ordering interleaves dimensions as values of channels that have stride1if they are in the same pair and stride2xHxWotherwise.
在 NHWC8, HxW矩阵包含所有通道的值。此外,这些值打包在一起⌈C/8⌉ 8元组里, C 四舍五入到最接近的8的倍数。
最新文章
- [2014.01.27]wfPrintOcx 票据打印控件 v5.3
- mat工具MemoryAnalyzer进行分析java内存溢出hprof文件
- u3d_shader_surface_shader_2
- Burning Bridges-ZOJ1588(割边求解)
- enmo_day_08
- “ExternalException (0x80004005): GDI+ 中发生一般性错误”的问题 .
- 将Word转为带书签的PDF
- 如何有效的保护 JAVA 程序
- hdu 4850 Wow! Such String!(字符串处理,yy)
- LINQ to XML 从逗号分隔值 (CSV) 文件生成 XML 文件
- PTA 06-图2 Saving James Bond - Easy Version (25分)
- 关于js的callback回调函数的理解
- Intent之间无法传递大数据的替代方法
- 导航栏 .active激活
- day 09
- 封装axios在vue-cli项目中便捷使用
- QT+VS2013 1配置和安装
- Codeforces 698A - Vacations - [简单DP]
- vector at()函数比 []运算符操作安全
- (转) Lua: 给 Redis 用户的入门指导
热门文章
- 关于CSS3背景渐变色无效问题
- Python中数据的排序
- 逆向 ctype.h 函数库 isalnum、iscntrl、islower、isxdigit、tolower 函数
- canvas绘制折线路径动画
- VS里的 代码片段(Code snippet)很有用,制作也很简单
- xxl-job源码阅读一(客户端)
- 关于Java的 long,float 类型
- mybaties longtext 类型不能映射到自动生成的文件
- JMM——Java内存模型抽象|八种同步操作|操作规则
- [bug] kibana:prevMsg";:";Request Timeout after 3000ms