=====================================================

视音频数据处理入门系列文章：

视音频数据处理入门：RGB、YUV像素数据处理

视音频数据处理入门：PCM音频采样数据处理

视音频数据处理入门：H.264视频码流解析

视音频数据处理入门：AAC音频码流解析

视音频数据处理入门：FLV封装格式解析

视音频数据处理入门：UDP-RTP协议解析

=====================================================

前两篇文章介绍了音频码流处理程序和视频码流处理程序，本文介绍将他们打包到一起后的数据——封装格式数据的处理程序。封装格式数据在视频播放器中的位置如下所示。

本文中的程序是一个FLV封装格式解析程序。该程序可以从FLV中分析得到它的基本单元Tag，并且可以简单解析Tag首部的字段。通过修改该程序可以实现不同的FLV格式数据处理功能。

原理

FLV封装格式是由一个FLV Header文件头和一个一个的Tag组成的。Tag中包含了音频数据以及视频数据。FLV的结构如下图所示。

有关FLV的格式本文不再做记录。可以参考文章《视音频编解码学习工程：FLV封装格式分析器》。本文的程序实现了FLV中的FLV Header和Tag的解析，并可以分离出其中的音频流。

代码

整个程序位于simplest_flv_parser()函数中，如下所示。

  1. /**
  2. * 最简单的视音频数据处理示例
  3. * Simplest MediaData Test
  4. *
  5. * 雷霄骅 Lei Xiaohua
  6. * leixiaohua1020@126.com
  7. * 中国传媒大学/数字电视技术
  8. * Communication University of China / Digital TV Technology
  9. * http://blog.csdn.net/leixiaohua1020
  10. *
  11. * 本项目包含如下几种视音频测试示例：
  12. *  (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
  13. *  (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
  14. *  (3)H.264码流分析程序。可以分离并解析NALU。
  15. *  (4)AAC码流分析程序。可以分离并解析ADTS帧。
  16. *  (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
  17. *  (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。
  18. *
  19. * This project contains following samples to handling multimedia data:
  20. *  (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data.
  21. *  (2) Audio sample data handling program. It contains several examples to handle PCM data.
  22. *  (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream.
  23. *  (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream.
  24. *  (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream.
  25. *  (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet.
  26. *
  27. */
  28. #include <stdio.h>
  29. #include <stdlib.h>
  30. #include <string.h>
  31. //Important!
  32. #pragma pack(1)
  33. #define TAG_TYPE_SCRIPT 18
  34. #define TAG_TYPE_AUDIO  8
  35. #define TAG_TYPE_VIDEO  9
  36. typedef unsigned char byte;
  37. typedef unsigned int uint;
  38. typedef struct {
  39. byte Signature[3];
  40. byte Version;
  41. byte Flags;
  42. uint DataOffset;
  43. } FLV_HEADER;
  44. typedef struct {
  45. byte TagType;
  46. byte DataSize[3];
  47. byte Timestamp[3];
  48. uint Reserved;
  49. } TAG_HEADER;
  50. //reverse_bytes - turn a BigEndian byte array into a LittleEndian integer
  51. uint reverse_bytes(byte *p, char c) {
  52. int r = 0;
  53. int i;
  54. for (i=0; i<c; i++)
  55. r |= ( *(p+i) << (((c-1)*8)-8*i));
  56. return r;
  57. }
  58. /**
  59. * Analysis FLV file
  60. * @param url    Location of input FLV file.
  61. */
  62. int simplest_flv_parser(char *url){
  63. //whether output audio/video stream
  64. int output_a=1;
  65. int output_v=1;
  66. //-------------
  67. FILE *ifh=NULL,*vfh=NULL, *afh = NULL;
  68. //FILE *myout=fopen("output_log.txt","wb+");
  69. FILE *myout=stdout;
  70. FLV_HEADER flv;
  71. TAG_HEADER tagheader;
  72. uint previoustagsize, previoustagsize_z=0;
  73. uint ts=0, ts_new=0;
  74. ifh = fopen(url, "rb+");
  75. if ( ifh== NULL) {
  76. printf("Failed to open files!");
  77. return -1;
  78. }
  79. //FLV file header
  80. fread((char *)&flv,1,sizeof(FLV_HEADER),ifh);
  81. fprintf(myout,"============== FLV Header ==============\n");
  82. fprintf(myout,"Signature:  0x %c %c %c\n",flv.Signature[0],flv.Signature[1],flv.Signature[2]);
  83. fprintf(myout,"Version:    0x %X\n",flv.Version);
  84. fprintf(myout,"Flags  :    0x %X\n",flv.Flags);
  85. fprintf(myout,"HeaderSize: 0x %X\n",reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)));
  86. fprintf(myout,"========================================\n");
  87. //move the file pointer to the end of the header
  88. fseek(ifh, reverse_bytes((byte *)&flv.DataOffset, sizeof(flv.DataOffset)), SEEK_SET);
  89. //process each tag
  90. do {
  91. previoustagsize = _getw(ifh);
  92. fread((void *)&tagheader,sizeof(TAG_HEADER),1,ifh);
  93. //int temp_datasize1=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize));
  94. int tagheader_datasize=tagheader.DataSize[0]*65536+tagheader.DataSize[1]*256+tagheader.DataSize[2];
  95. int tagheader_timestamp=tagheader.Timestamp[0]*65536+tagheader.Timestamp[1]*256+tagheader.Timestamp[2];
  96. char tagtype_str[10];
  97. switch(tagheader.TagType){
  98. case TAG_TYPE_AUDIO:sprintf(tagtype_str,"AUDIO");break;
  99. case TAG_TYPE_VIDEO:sprintf(tagtype_str,"VIDEO");break;
  100. case TAG_TYPE_SCRIPT:sprintf(tagtype_str,"SCRIPT");break;
  101. default:sprintf(tagtype_str,"UNKNOWN");break;
  102. }
  103. fprintf(myout,"[%6s] %6d %6d |",tagtype_str,tagheader_datasize,tagheader_timestamp);
  104. //if we are not past the end of file, process the tag
  105. if (feof(ifh)) {
  106. break;
  107. }
  108. //process tag by type
  109. switch (tagheader.TagType) {
  110. case TAG_TYPE_AUDIO:{
  111. char audiotag_str[100]={0};
  112. strcat(audiotag_str,"| ");
  113. char tagdata_first_byte;
  114. tagdata_first_byte=fgetc(ifh);
  115. int x=tagdata_first_byte&0xF0;
  116. x=x>>4;
  117. switch (x)
  118. {
  119. case 0:strcat(audiotag_str,"Linear PCM, platform endian");break;
  120. case 1:strcat(audiotag_str,"ADPCM");break;
  121. case 2:strcat(audiotag_str,"MP3");break;
  122. case 3:strcat(audiotag_str,"Linear PCM, little endian");break;
  123. case 4:strcat(audiotag_str,"Nellymoser 16-kHz mono");break;
  124. case 5:strcat(audiotag_str,"Nellymoser 8-kHz mono");break;
  125. case 6:strcat(audiotag_str,"Nellymoser");break;
  126. case 7:strcat(audiotag_str,"G.711 A-law logarithmic PCM");break;
  127. case 8:strcat(audiotag_str,"G.711 mu-law logarithmic PCM");break;
  128. case 9:strcat(audiotag_str,"reserved");break;
  129. case 10:strcat(audiotag_str,"AAC");break;
  130. case 11:strcat(audiotag_str,"Speex");break;
  131. case 14:strcat(audiotag_str,"MP3 8-Khz");break;
  132. case 15:strcat(audiotag_str,"Device-specific sound");break;
  133. default:strcat(audiotag_str,"UNKNOWN");break;
  134. }
  135. strcat(audiotag_str,"| ");
  136. x=tagdata_first_byte&0x0C;
  137. x=x>>2;
  138. switch (x)
  139. {
  140. case 0:strcat(audiotag_str,"5.5-kHz");break;
  141. case 1:strcat(audiotag_str,"1-kHz");break;
  142. case 2:strcat(audiotag_str,"22-kHz");break;
  143. case 3:strcat(audiotag_str,"44-kHz");break;
  144. default:strcat(audiotag_str,"UNKNOWN");break;
  145. }
  146. strcat(audiotag_str,"| ");
  147. x=tagdata_first_byte&0x02;
  148. x=x>>1;
  149. switch (x)
  150. {
  151. case 0:strcat(audiotag_str,"8Bit");break;
  152. case 1:strcat(audiotag_str,"16Bit");break;
  153. default:strcat(audiotag_str,"UNKNOWN");break;
  154. }
  155. strcat(audiotag_str,"| ");
  156. x=tagdata_first_byte&0x01;
  157. switch (x)
  158. {
  159. case 0:strcat(audiotag_str,"Mono");break;
  160. case 1:strcat(audiotag_str,"Stereo");break;
  161. default:strcat(audiotag_str,"UNKNOWN");break;
  162. }
  163. fprintf(myout,"%s",audiotag_str);
  164. //if the output file hasn't been opened, open it.
  165. if(output_a!=0&&afh == NULL){
  166. afh = fopen("output.mp3", "wb");
  167. }
  168. //TagData - First Byte Data
  169. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))-1;
  170. if(output_a!=0){
  171. //TagData+1
  172. for (int i=0; i<data_size; i++)
  173. fputc(fgetc(ifh),afh);
  174. }else{
  175. for (int i=0; i<data_size; i++)
  176. fgetc(ifh);
  177. }
  178. break;
  179. }
  180. case TAG_TYPE_VIDEO:{
  181. char videotag_str[100]={0};
  182. strcat(videotag_str,"| ");
  183. char tagdata_first_byte;
  184. tagdata_first_byte=fgetc(ifh);
  185. int x=tagdata_first_byte&0xF0;
  186. x=x>>4;
  187. switch (x)
  188. {
  189. case 1:strcat(videotag_str,"key frame  ");break;
  190. case 2:strcat(videotag_str,"inter frame");break;
  191. case 3:strcat(videotag_str,"disposable inter frame");break;
  192. case 4:strcat(videotag_str,"generated keyframe");break;
  193. case 5:strcat(videotag_str,"video info/command frame");break;
  194. default:strcat(videotag_str,"UNKNOWN");break;
  195. }
  196. strcat(videotag_str,"| ");
  197. x=tagdata_first_byte&0x0F;
  198. switch (x)
  199. {
  200. case 1:strcat(videotag_str,"JPEG (currently unused)");break;
  201. case 2:strcat(videotag_str,"Sorenson H.263");break;
  202. case 3:strcat(videotag_str,"Screen video");break;
  203. case 4:strcat(videotag_str,"On2 VP6");break;
  204. case 5:strcat(videotag_str,"On2 VP6 with alpha channel");break;
  205. case 6:strcat(videotag_str,"Screen video version 2");break;
  206. case 7:strcat(videotag_str,"AVC");break;
  207. default:strcat(videotag_str,"UNKNOWN");break;
  208. }
  209. fprintf(myout,"%s",videotag_str);
  210. fseek(ifh, -1, SEEK_CUR);
  211. //if the output file hasn't been opened, open it.
  212. if (vfh == NULL&&output_v!=0) {
  213. //write the flv header (reuse the original file's hdr) and first previoustagsize
  214. vfh = fopen("output.flv", "wb");
  215. fwrite((char *)&flv,1, sizeof(flv),vfh);
  216. fwrite((char *)&previoustagsize_z,1,sizeof(previoustagsize_z),vfh);
  217. }
  218. #if 0
  219. //Change Timestamp
  220. //Get Timestamp
  221. ts = reverse_bytes((byte *)&tagheader.Timestamp, sizeof(tagheader.Timestamp));
  222. ts=ts*2;
  223. //Writeback Timestamp
  224. ts_new = reverse_bytes((byte *)&ts, sizeof(ts));
  225. memcpy(&tagheader.Timestamp, ((char *)&ts_new) + 1, sizeof(tagheader.Timestamp));
  226. #endif
  227. //TagData + Previous Tag Size
  228. int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))+4;
  229. if(output_v!=0){
  230. //TagHeader
  231. fwrite((char *)&tagheader,1, sizeof(tagheader),vfh);
  232. //TagData
  233. for (int i=0; i<data_size; i++)
  234. fputc(fgetc(ifh),vfh);
  235. }else{
  236. for (int i=0; i<data_size; i++)
  237. fgetc(ifh);
  238. }
  239. //rewind 4 bytes, because we need to read the previoustagsize again for the loop's sake
  240. fseek(ifh, -4, SEEK_CUR);
  241. break;
  242. }
  243. default:
  244. //skip the data of this tag
  245. fseek(ifh, reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize)), SEEK_CUR);
  246. }
  247. fprintf(myout,"\n");
  248. } while (!feof(ifh));
  249. _fcloseall();
  250. return 0;
  251. }

上文中的函数调用方法如下所示。

  1. simplest_flv_parser("cuc_ieschool.flv");

结果

本程序的输入为一个FLV的文件路径，输出为FLV的统计数据，如下图所示。

此外本程序还可以分离FLV中的视频码流和音频码流。需要注意的是本程序并不能分离一些特定类型的音频（例如AAC）和视频，这一工作有待以后有时间再完成。

下载

Simplest mediadata test

项目主页

SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

开源中国：http://git.oschina.net/leixiaohua1020/simplest_mediadata_test

CSDN下载地址：http://download.csdn.net/detail/leixiaohua1020/9422409

本项目包含如下几种视音频数据解析示例：
 (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
 (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
 (3)H.264码流分析程序。可以分离并解析NALU。
 (4)AAC码流分析程序。可以分离并解析ADTS帧。
 (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
 (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。

最新文章

  1. PHP 字符串左边补0，字符串右边补0
  2. CSS中!important的作用
  3. [转]解决vista和win7在windows服务中交互桌面权限问题：穿透Session 0 隔离
  4. Xamarin Anroid App访问网站失败
  5. 用python matplotlib 画图
  6. PHP - php汉字转拼音
  7. 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统（27）-权限管理系统-分配用户给角色
  8. fedora 20下安装vim的C++补全插件clang_complete
  9. javascript 下拉列表　自己主动取值　无需value
  10. Java中的随机数生成器：Random，ThreadLocalRandom，SecureRandom
  11. Spring事务管理的实现方式之编程式事务与声明式事务详解
  12. C盘无损扩容
  13. Linux进阶知识和命令
  14. 使用Eclipse创建SpringBoot项目
  15. js学习——基础知识
  16. spass按位置编码,进行排序题处理与分析
  17. 2019.02.09 bzoj2560: 串珠子（状压dp+简单容斥）
  18. Webflux快速入门
  19. 正确配置 debian squeeze apt 源
  20. php插入htm htm插入php的变量

热门文章

  1. Servet3.0于Servlet2.5比较
  2. WPF四则运算《《《《《策略模式
  3. 团队GIT实战总结
  4. golang string转json的一些坑
  5. iOS日期的加减
  6. Enterprise Library 5.0 参考源码索引
  7. Scrum 7.0
  8. 蜗牛慢慢爬 LeetCode 20. Valid Parentheses [Difficulty: Easy]
  9. app流畅度测试--使用SM
  10. 过滤器将获取到的内容注入到servlet的request中