从0到1：腾讯参与新一代视频标准制定

微信邦

“同样的4K视频，在不损失画质的条件下，用H.266标准压缩可以节省一半的空间，也就是节省一半的网络流量。”

文 | 徐可

*本文刊载于077期《腾云》

一场新冠疫情给人们的生活带来巨大变化，在欧洲，被困在家里的人们发现，除了生活必需品，网络带宽现在也成了稀缺资源。由于视频会议，以及影音、在线游戏等使用量的暴增，给电信运营商的带宽带来了空前的压力。
据欧洲电信运营商沃达丰披露，疫情期间，欧洲多国的网络游戏流量都翻了10倍，网络影音流量翻了4倍，在线教育、远程办公、召开视频会议的流量比过去猛增了50%。
为了保证在线教育以及一些关键线上服务不被干扰，欧盟因此与Netflix协商，要求在网络高峰期自动降低影片播放画质，节约带宽。瑞士政府甚至威胁说，如果网络带宽出现了“严重紧张”状况，“对民生供应并不关键的服务”可能被限制甚至关闭。
除了Netflix，YouTube也主动在疫情期间对欧洲的服务规格暂时降低到标清，为期30天，以缓解对带宽的压力。
5G时代的到来，加快了人们对于随时随地享用高清视频应用的期待，然而，网络视频的画质与带宽永远是一对矛盾。疫情期间的全民上网对于带宽的需求激增，使得这对矛盾更显得突出。降低画质是暂时的举措，人们对高清视频的追求一直没有停止过，从标清到高清，从1080p到4K、8K，对网络带宽、播放设备、软件的需求不断提升。
在需求之外，视频压缩标准的不断更新和发展，同样在推动着视频技术的不断进步。
2020年7月6日，新一代视频编码标准 （Versatile Video Coding，简称VVC），即H.266正式定稿。同样的4K视频，在不损失画质的条件下，用H.266标准压缩可以节省一半的空间，也就是节省一半的网络流量。新标准的普及无疑会大大缓解网络带宽的压力。
可以说H.266就是为了4K和8K视频而生，一部4K的电影用H.265压缩，大概有10G左右，而用H.266压缩，只有大概5G大小。此外，高清电影不仅是高分辨率，帧率也从30帧发展到60帧、120帧，来容纳更多的信息，展示更多的细节。如此高密度的数据需要更高的压缩比，目前还在广泛使用的H.264已经力不从心，未来只能依赖于H.266。
新标准的制定历时3年多的时间，众多国内外的产业巨头参与其中，腾讯也是其中之一。虽然是第一次参与类似的国际标准制定，但也有超过100项提案被采纳，实现了“零的突破”。
腾讯多媒体实验室标准团队承担了大量具体工作，做出重要贡献。参与新标准的制定对于腾讯有什么重要意义？标准制定过程中有哪些有趣的故事？带着这些疑问我们采访了多媒体实验室标准专家李翔博士。

2018年1月，腾讯多媒体实验室负责人刘杉博士（右三）和专家李翔（左三）与团队成员在腾讯总部。

▌新标准的应用可以大幅降低腾讯和用户的带宽成本
李翔指出，视频标准对于腾讯而言意义重大，因为腾讯与视频相关的应用非常多：既有微信、QQ等实时的视频通话，也有长视频应用，比如腾讯视频这种点播性服务和全民K歌等交互的应用；还有疫情期间开始发量的腾讯会议，以及智慧文旅等。“凡是有跟视频相关的，其实都是视频标准覆盖的范围”。
此外，随着技术的发展，人们对视频的画质需求也越来越高。从上世纪90年代初的VCD到DVD，再从高清升级到目前已经开始普及的4K、8K。除了分辨率的提升，视频内容也越来越多，根据统计数据，互联网上80%以上的流量都是视频的内容，当5G大规模普及后，视频内容更会大幅度增长。如果新标准能够快速普及，更高的压缩比可以为提供视频的企业，同时为收看视频的用户大大地降低带宽成本。
VCEG和MPEG是国际上从事视频编码标准制定的两大组织，分别隶属于ITU-T（ITU-T即国际电信联盟——电信标准分局）和ISO（International Standards Organization，国际标准化组织）。
VCEG(Video Coding Experts Group)主要负责面向实时通信领域的标准制定，制定了H.26XX系列标准。而MPEG(Motion Picture Experts Group)主要负责面向视频存储、广播电视、网络传输的视频标准，主要制定了MPEG-1/MPEG-2/MPEG-4等。
为了更好地推动视频编码技术的发展，两大组织合作成立联合视频组JVT（joint video team），推出了著名的H.264标准，直到今天还在被广泛应用。之后就是H.265/HEVC标准，一直到今年7月份的H.266/VVC标准推出。
“从H261开始到H.266，到现在已经是6代了，H.266是腾讯第一次真正意义上参与国际视频标准的制定。腾讯发展到今天的规模，如此之长的产品线，提供了种类这么多、范围这么广的视频的服务，视频压缩标准对于腾讯的业务来说影响巨大。没有视频标准技术方面的积累，我们全球视频相关业务的布局都有可能因知识产权方面的欠缺而陷入被动。可以说我们参与标准制定，是来自业务的迫切需要。”李翔说。

腾讯多媒体实验室联合负责人、杰出科学家刘杉。


▌《王者荣耀》作为标准测试序列
在H.266标准中，有一个引人注意的亮点——《王者荣耀》成为测试序列内容，对于全球最大游戏公司腾讯而言，意义重大。
“之前的标准对于游戏场景不是那么重视，其中一个主要原因是因为参与公司的业务重点并不是游戏。因此，最终标准制定出来也不一定能够真正解决游戏业务的痛点。但作为第一大的游戏公司的腾讯来讲，肯定会更加重视。《王者荣耀》作为全球用户数最多的手游也非常具有代表性，游戏直播等场景巨大，用户数非常多，所以我们当时把《王者荣耀》作为重点的场景推进去。一方面对电竞有好处，另一方面确保腾讯的重要应用场景是可以被标准覆盖到。”
此外，基于腾讯拥有视频会议、游戏直播等相关业务，在腾讯提交的方案中，也把屏幕内容编码加入了H.266/VVC的第一个版本（基础版本）。
李翔解释说，在之前的标准中，如H.265，很多技术都是作为标准扩展版本加入的，例如针对屏幕内容的编码。大多数硬件厂商只对标准基础版本内容提供支持，扩展的部分只有用软件的方式提供。
在手机上使用时就容易造成高功耗，电池耗电量提高而过热，导致用户体验下降。将核心业务纳入基础版本，就意味着它可以被更广泛的硬件厂商所接受。用户体验也可以得到保证。

▌新标准可以为腾讯带来专利保护
谈到视频压缩标准，就一定绕不开标准必要专利（SEP, standard essential patent）。它是指要达到某一行业标准的要求而必须使用的专利。标准必要专利保证了专利持有人得到应有的获利，形成竞争专利壁垒，也可以为拓展相关业务节省高昂的专利费。
当前的标准必要专利在通信领域和音、视频领域最为普遍。要想做到互联互通，标准必要专利是基本保证。“一流的企业做标准，”李翔用更为通俗的方式解释了专利的重要性，“如果是一个闭环的系统，不需跟不同厂家的设备互联互通，就可以不需要标准。
但是要互联互通，尤其是不同的厂商不同的设备，比如说用联想的手机，和小米的手机之间通话，如果没有标准就没法打电话了，所以大家要遵从一个统一的标准。换句话说，我们都说同一种语言，这样大家不同的设备可以互联互通，这样才能整个把整个产业做起来。
在这种情况下，你有专利在里头，大家必须遵守，这就是所谓的标准核心专利。和其他类型的专利不同，只要每个产品宣称可以解码H.266，就必然会涉及相关专利，因此无需提出标准的企业去做关于侵权与否的举证。”

新一代视频编码标准出台后，同样的4K视频，在不损失画质的条件下，用H.266标准压缩可以节省一半的网络流量。新标准的普及无疑会大大缓解网络带宽的压力。
▌据理力争，以少胜多
标准制定过程是一个长期的过程，其中蕴含着巨大的商业利益，制定过程也成了一个各方激烈博弈的过程。
2017年，随着在国际多媒体标准领域拥有深厚经验的科学家刘杉、李翔等人加入腾讯，腾讯多媒体实验室标准团队正式成立。刚成立就积极准备响应国际标准组织对H.266标准的技术提案征集。当时团队人员非常有限，而距离提案征集的截稿时间只有2个月，所有团队成员在元旦和春节期间没日没夜地赶工，凭实力圆满地完成了任务。

2018年4月，在美国圣地亚哥举行的MPEG122会议上，腾讯多媒体实验室提交了10个高质量的标准提案，并在CfP质量评测中超过很多国际知名公司和研究机构，一战成名。

李翔坦陈，和参与标准制定的国际企业相比，人力一直是腾讯的劣势。比如，在视频编码领域久负盛名的德国老牌研究所HHI，单单投入视频标准VVC研发的团队成员就常年保持在30人左右。大的团队很多东西可以做得非常的精细，经常一个人专注一点。而腾讯团队的人数少很多，一个人要负责多个方向还经常因一些不可抗拒因素不能悉数到会场。

因此，团队成员都承担了繁重的任务。会议期间经常会有上千篇文档需要讨论，在10—14天的会期内，经常是白天激烈地讨论，晚上回去修改方案，第二天继续讨论，工作压力之大可想而知。
李翔回忆，今年4月的标准会议本来定在奥地利的滑雪小镇封闭举行，各个公司的代表都预定好了机票，当时疫情已经开始全球蔓延，但仍有很多人都表示只要现场会议不取消就会出席，大家为是否应该取消会议进行了多轮磋商，直到后来国际标准组织决定将所有线下会议都改为线上进行。
“现在回想起来，如果我们去了，肯定会有不少专家中招的，但大家仍然坚定地准备出席。可见各个公司的专家对于这个标准制定工作的的热情程度和敬业精神。从这里也可以看到竞争是何等的激烈。 ”李翔说。

腾讯多媒体团队部分成员。

▌从标准制定到产业创新
在李翔看来，标准制定还只是万里长征的第一步，接下来的关键任务是如何把标准推广普及，在业务中落地。他表示，新一代的视频标准在自动驾驶、安全监控、智慧文旅、游戏电竞等产业都将得到广泛的应用。
他以腾讯发力的智慧文旅行业为例说，未来支持8K高清视频的头显将日益普及，为更多的消费者提供身临其境的沉浸式娱乐体验。这意味着要实现每秒120帧的动作，才能看得清晰。从编解码角度而言，技术复杂度要比上一代标准高了许多，编码复杂度是H.265标准的10倍，解码复杂度是2倍。技术的挑战不言而喻。
在智慧城市的建设中，将会产生大规模的智能监控图像，人工智能将深入地介入图像识别中，腾讯多媒体实验室也在机器视频编码标准（Video Coding for Machine）方面发力，多媒体实验室联合负责人刘杉博士担任标准专家组的联合主席，为更新一代的视频压缩标准搭桥铺路。
李翔还介绍说，腾讯除了参与商业性的行业标准组织，还参与了免费开源的行业标准组织——Alliancefor Open Media， 这个标准系统的参与者无须缴纳专利费。腾讯与谷歌、Intel、Netflix、Facebook、微软、Amazon等互联网公司一道作为发起成员，是董事会成员中唯一一家中国互联网企业，其开发的AV1标准性能介于H.265标准和H.266之间。
目前AOM在开发它的下一代标准AV2，多媒体实验室也在积极参与相关工作，目前的贡献与谷歌一起名列前两名。此外，李翔本人也担任了AOM联盟软件实现工作组的联合主席，另一位主席来自Facebook。
“之所以在视频标准领域的商业和免费开源领域同时布局，是因为腾讯相关产品线非常长，覆盖的应用场景非常多，不同地域的用户需求也不同。所以，我们针对不同的需求，需要有不同的落地策略，这也是腾讯为产业互联网未来布局的一项系统工程。”