ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析

ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析

ffmpeg 有三种常见的视频合并方式: demuxer，protocol，filter

这里有介绍它的使用 :

http://trac.ffmpeg.org/wiki/Concatenate#demuxer

本文主要介绍ts流合并视频时候合并后视频的pkt是如何计算的，音画是怎么同步的。

这种方式是以复制pkt的方式进行的，不需要解码，不像fitler方式合并没有编码损失。

其基本命令如下 :

ffmpeg -i input1.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate1.ts

ffmpeg -i input2.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate2.ts

ffmpeg -i "concat:intermediate1.ts|intermediate2.ts" -c copy -bsf:a aac_adtstoasc output.mp4

libavformat/concat.c中会处理 -i concat:"...." 打开所有输入文件，

输出的 pkt 的 dts 和 pts 为所有输入pkt的 dts 、 pts + 上一个 ts_offset

第一个片段的ts_offset 应该是 0 - 第一个片段的起始时间

第二个片段的ts_offset 是第一个片段中最长流的 pts + 上一段的ts_ofsset

依此类推后面的。

main->tanscode()->transcoder_step()->process_input(): 中的这段代码即处理了一个片段末尾新ts_offset的计算:

    if ((ist->dec_ctx->codec_type == AVMEDIA_TYPE_VIDEO ||

         ist->dec_ctx->codec_type == AVMEDIA_TYPE_AUDIO) &&

         pkt_dts != AV_NOPTS_VALUE && ist->next_dts != AV_NOPTS_VALUE &&

        !disable_discontinuity_correction) {

        int64_t delta   = pkt_dts - ist->next_dts;

        if (is->iformat->flags & AVFMT_TS_DISCONT) {

            if (delta < -1LL*dts_delta_threshold*AV_TIME_BASE ||

                delta >  1LL*dts_delta_threshold*AV_TIME_BASE ||

                pkt_dts + AV_TIME_BASE/10 < FFMAX(ist->pts, ist->dts)) {

                ifile->ts_offset -= delta;

                av_log(NULL, AV_LOG_DEBUG,

                       "timestamp discontinuity for stream #%d:%d "

                       "(id=%d, type=%s): %"PRId64", new offset= %"PRId64"\n",

                       ist->file_index, ist->st->index, ist->st->id,

                       av_get_media_type_string(ist->dec_ctx->codec_type),

                       delta, ifile->ts_offset);

                pkt.dts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);

                if (pkt.pts != AV_NOPTS_VALUE)

                    pkt.pts -= av_rescale_q(delta, AV_TIME_BASE_Q, ist->st->time_base);

            }

因此其合并方式应该如下图所示 :

如是，生成两个测试源，验证一下 :

audio 10 video 5s 衔接测试

ffprobe -i c.mp4 -select_streams v:0 -show_packets -of json |grep pts

可以看到 pts 在 5s 处会有一段跳变而 audio 在5-10s是连续的 ->

            "pts_time": "4.776667",

            "pts": 432900,

            "pts_time": "4.810000",

            "pts": 435900,

            "pts_time": "4.843333",

            "pts": 438900,

            "pts_time": "4.876667",

            "pts": 441900,

            "pts_time": "4.910000",

            "pts": 444900,

            "pts_time": "4.943333",

            "pts": 447900,

            "pts_time": "4.976667",

            "pts": 450900,

            "pts_time": "5.010000",

            "pts": 904341,

            "pts_time": "10.048233",

            "pts": 907341,

            "pts_time": "10.081567",

            "pts": 910341,

            "pts_time": "10.114900",

            "pts": 913341,

            "pts_time": "10.148233",

            "pts": 916341,

            "pts_time": "10.181567",

打开 deug_ts 在ffmeg日志处可以看到 ts 合并方式下一段新的偏移取得是audio 的长度。

audio 5s video 10s 接着音频短的片尾斜街一段

ffprobe -i c.mp4 -select_streams a:0 -show_packets -of json |grep pts

这次我们检查音频流，可以看到音频在断点处时间戳是有跳变的。

            "pts": 657792,

            "pts_time": "14.915918",

            "pts": 658944,

            "pts_time": "14.942041",

            "pts": 660096,

            "pts_time": "14.968163",

            "pts": 661248,

            "pts_time": "14.994286",

            "pts": 882216,

            "pts_time": "20.004898",

            "pts": 883368,

            "pts_time": "20.031020",

            "pts": 884520,

            "pts_time": "20.057143"

因此基本符合开头猜想的逻辑：

小结

这种合并方式的优点是能够不打乱原来每段的音视频时间戳进而确保音画同步，

缺点是在音画 duration 差别过大的片段后面进行衔接会留出一段音或视频的空隙。这种空隙播放器可能会卡最后一帧处理，不过建议是转码处理是自行补齐静音或视频最后一帧。

再或者尝试使用 ffmpeg -shortest 选项截掉音画偏长的那一段内容，来进行 concat。

巴特西

ffmpeg protocol concat 进行ts流合并视频的时间戳计算及其音画同步方式一点浅析

ffmpeg protocol concat 进行ts流合并视频的时间戳计算及音画同步方式一点浅析

audio 10 video 5s 衔接测试

audio 5s video 10s 接着音频短的片尾斜街一段

小结

最新文章

热门文章