LiveVideoStack Meet|深圳多媒体开发新趋势

2018年初始，音视频技术生态并不平静，Codec争夺愈加激烈，新一代标准的挑战一浪高过一浪；WebRTC的定版也为打通浏览器、移动端乃至IoT带来了机会；此外AI、区块链技术的兴起，催化着与多媒体领域的化学反应。新技术正在对安防、视频会议、社交、教育、金融等行业产生影响，这无疑对多媒体开发者带来了新的挑战。

7月14日， LiveVideoStack携手腾讯、北京大学、魅族、即构科技、又拍云、华为等技术大咖，在北京大学深圳（深圳研究生院）国际法学院大楼201，一同探索多媒体开发新趋势，探讨开发难点、技术转型，展现新技术在音视频领域的最新、最佳实践。收货颇多，遂一一记录下来。

为了能尽可能多几位大咖分享，主办方也是将时间安排的满满的，从下午1点半到6点半，中场没有任何休息，体验一场酣畅淋漓的知识盛宴，分享的主题如下几个：

1、面向AVS2标准的编解码优化王振宇

2、腾讯明眸“极速高清”技术实现刘兆瑞

3、实时语音通话的音频后处理技术冼牛

4、 WebRTC在Flyme远程协助的实践许振明

5、实现高码率流畅直播的P2P-CDN方案施远敏

6、 FogConnect：一个连接万物的协议及其组件吴磊

7、 OTT视频极致体验提升实践分享林霖

下面按照自己的理解，分别讲讲各个主题：

面向AVS2标准的编解码优化王振宇

AVS2和中国的龙心芯片一样，AVS2标准是由中国AVS工作组主导制定的第二代视频编码标准，同国际标准H.265/HEVC具有相似的编码框架和基本一致的压缩性能。随着互联网大视频时代的到来，动不动高清4K、8K、蓝光视频分辨率已经不再新鲜，一个高压缩比、高性能的压缩算法，确实成为行业的迫切需求。旧的H.264尽管曾经风云一时，但是在带宽有限，视频分辨率不断提高的今天，已经越来越显得乏力。当然，自己的技术，如果自己都不用，那还有谁敢用，看新闻报道，政府已经发布《IPTV 业务系统AVS2实施指南（2018年）》，估计未来这一编码技术用在IPTV业务上应该也不远了。

主讲人从基础加速技术、快速编码框架和快速编码算法三个方面进行编码优化的讲解，最后进行了优化结果的对比。

腾讯明眸“极速高清”技术实现刘兆瑞

说起腾讯明眸“极速高清”技术，就不得不谈谈本届世界杯。白岩松说：世界杯中国除了足球队没去，其他都去了。这当然也包括咱互联网三大巨头BAT一员腾讯，本届世界杯CCTV5就用了他们家的“极速高清”技术。回到此次讲座，主讲人首先抛出一个命题：直播进入下半场：运营成本优化。并提出自己总结的三大问题：用户对视频质量的要求越来越高，直播进入下半场，增长放缓，运营成本高居不下。

为了迎合不同客户的需求，设计了一套“极速高清”技术的视频解决方案，主要分为视频增强、ROI处理和视频风格三大块。例如对于世界杯球赛视频处理，客户对于台标和字母清晰度的诉求极高，而对于娱乐视频直播视频的处理，客户对于主播清晰度要求极高，而背景清晰度则关注度不高。用到的技术有CNN、RNN、LSTM和ROI等。也侧面说面，视频是个大的解决方案，还没有哪家功能能够完全统领整个解决方案，大家这个大框架下寻找着细分领域的突破口。

实时语音通话的音频后处理技术冼牛

第三讲是关于语音方向的，重点讲解了语音混音技术，同时结合酷狗在线K够应用进行实例阐述。混音顾名思义，就是讲两段以上的音频技术混合为一段语音进行播放，实际连麦场景下就用到了混音技术。作者提到了混音中一个要处理的关键技术：回音消除技术（AEC）.

WebRTC在Flyme远程协助的实践许振明

接着魅族工程师许振明讲解了Flyme系统中一个远程协助工具的实现，主要基于WEBRTC开源模块进行二次开发实现，顺带讲解了一些项目过程中遇到的难点，已经解决方法。例如在处理手机屏幕切换动画时，为了增加人眼视觉动态效果，往往前半段变化很快，后半段变化很慢，体现出图标渐变的效果。压缩时，应该增大视频帧率，提高动画连贯性，而不能使用传统的视频优化编码算法。为了了解WEBRTC是何物，我又去找了些相关资料。WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。2011年5月开放了工程的源代码，在行业内得到了广泛的支持和应用，成为下一代视频通话的标准。

下面是13年谷歌发布在youtube上的一段产品介绍视频：

https://www.youtube.com/watch?v=p2HzZkd2A40&t=662s

还有一个测试链接，可以打开本地摄像头视频显示在浏览器上：

https://webrtc.github.io/samples/src/content/getusermedia/gum/

谷歌已经将其进行开源，从他自己的官方介绍来看，主要包括Acquiring audio and video、Communicating audio and video和Communicating arbitrary data三个模块，可以说模块划分还是很简单清晰的。

实现高码率流畅直播的P2P-CDN方案施远敏

从资源集中依赖网络中某几个CDN节点，到可以充分利用网络中闲散的资源节点或者媒体终端，P2P-CDN技术由此营运而生。说起P2P技术也许我们并不陌生，曾经风靡一时的快播软件就是P2P技术运用极致的典范，曾服务快播4亿用户，创造了承载日活8000万，同时在线超6000万用户并发的行业记录。

回顾下什么是CDN节点，以下内容来自百度百科：CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

以下面拓扑图为例，不同用户访问相同的视频网站，可能连接的CDN节点是不相同的。

通过统计数据可知，一个视频公司，其成本开支主要包含3部分：内容源成本，视频运营成本以及CDN网络带宽成本，而CDN网络带宽成本往往能占到其总成本的20%-30%，如果能将这部分成本降下来，带来的总成本的下降空间也是相当可观的。当然P2P-CDN不止这样的好处，还可以改善若网络播放。同时其也存在一些缺点。如下是主讲人进行的一些总结。

FogConnect：一个连接万物的协议及其组件吴磊

随着网络设备的疯狂增加，网络复杂度指数增长，设备之间的连接也愈发困难。很多人意识到了这个问题，提出了各式各样基于私有协议的解决方案，但是也带来了协议之间互相连接的困难，开发难度大等新的问题。Pear在这种大环境下，设计并实现了基于WebRTC标准的连接组件和协议，让连接变得简单，快捷，零接入成本，让网络设备一键开启雾服务，让万亿设备的互联互通不再是梦想。

OTT视频极致体验提升实践分享林霖

OTT 是“Over The Top”的缩写，是指通过互联网向用户提供各种应用服务。这种应用和目前运营商所提供的通信业务不同，它仅利用运营商的网络，而服务由运营商之外的第三方提供。目前，典型的OTT业务有互联网电视业务，苹果应用商店等。

华为作为一家ICT公司，一直聚焦其核心业务，围绕端-管-云进行展开。构建技术的方案的同时，辅助伙伴一起构建一个良好的生态环境。

介绍华为通过QDS编码、视觉质量感知、网络带宽动态适配、快速Seek等高技术提升OTT视频体验，在中国网络达到Netflix在美国网络下的用户体验的探索与实践。

总结

7个主题还都是围绕传统的视频解决方案架构，进行编码、传输、质量、时延以及极致用户体验等方面展开，而AVS2编码算法的性能，也有耐于市场的进一步考验，同时从硬件芯片层次的全面支持也需要一定时间。腾讯“极速高清”方案提到了一些分场景技术实现，用到最新的CNN和DNN技术，可惜没有进行深入细讲，WEBWRT作为谷歌主推的跨平台通信协议，在市场上的应用前景究竟怎么样，我们不得而知，但3个主题中或多或少都透露用到了该技术，说明还是具有高可用价值的，毕竟谁也不想重复造车轮子。华为以运营商业务起家，在网络控制上具有较大发言权，感知编码技术作为高可定制算法，和腾讯“极速高清”技术有种类似的特性。

AI作为当下热门的技术主题，其实还想听听其在视频直播行业的应用，以及面临的技术问题和解决方法，显然在这次讲座里面，涉及较少，期待二者能够更深入的结合。

从个人出发，对新技术的学习能力和模型抽象能力，感觉是自己的一项比较弱的方向，技术本身并不具备价值，只有进入到具体的场景中去，才能实际转换为生产力。

以上内容仅个人学习总结之用，如有侵权请联系本人删除。

参考链接：

https://blog.csdn.net/l_215851356/article/details/77435786

巴特西