字节跳动的海外技术团队在全球视频编码领域实现最新突破。
据联合视频专家组JVET官网显示,字节跳动AVG(先进视频团队)今年2月发起一项视频压缩的技术提案,该提案能够在优化压缩质量的同时,节约至少13%的存储和带宽。例如,一段180分钟H.266/VVC标准的高清视频(1080P分辨率),大约需要3GB的数据体积,应用新技术后只需要2.6GB。这是业界公开的单个智能编码工具的最佳性能增益。
字节跳动AVG在美国加州建立研发团队,成员有来自高通、微软、英特尔等巨头的资深研究员,也有出身海内外顶级院校的新生代。在此前JVET制定新一代国际视频编解码标准H.266/VVC的过程中,字节跳动AVG累计提交260+项技术提案,其中130+项被采纳,被采纳提案数和采纳率均排在世界前列,是H.266/VVC核心算法的主要贡献者之一。
视频是由一张张图片连接起来的动态图像序列,视频编解码则是视频应用的底层核心技术,作用是对图像进行压缩和数字编码,以尽可能小的带宽传送高质量的视频数据。H.266/VVC能够在不影响画质的情况下,把视频码率降低到前一代标准H.265/HEVC的一半。本来只够放标清视频的网速,也能流畅播放高清视频。
此次字节跳动AVG提出的新算法,旨在通过深度学习技术构建减少视频压缩失真的滤波器(DAM),主干是基于残差单元堆叠的深度卷积网络,辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接,允许网络把注意力放在变化的残差上,这与视频图像帧之间的残差有异曲同工之妙,比如武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是相同的,闪动的剑光形成残差,这也是视频编码压缩的重点关注对象。
实验结果显示,相比H.266/VVC最新标准,字节跳动的DAM解决方案能够为视频编码性能带来显著提升,亮度信号Y可实现10.28%的性能增益,两个色度信号U和V,性能增益也分别达到28.22%和27.97%,在视频质量有所优化的同时,至少还可缩小13%的数据体积。
图:测试用例来自国际标准组织的测试视频
据悉,字节跳动AVG已自主研发了BVC2.0编码器,首次参加国际权威的MSU 2020视频编码器大赛,就在四项评价指标上包揽第一。AVG的各项研究成果,也将通过BVC编码器的升级换代投入应用,包括抖音、西瓜视频、今日头条等 App的视频类内容处理,以及云计算、云游戏等基础架构领域,从而为用户带来更高清画质、更流畅播放的视频体验。
AVG除了深度参与国际视频标准制定外,也为国产新一代视频压缩标准AVS3做出重要贡献,包括块划分、运动矢量编码及预测、色-亮度帧内预测等多项原创性技术被AVS3视频标准所采纳。字节跳动因此获得2019年度AVS产业技术创新之提案奖,是迄今唯一获奖的互联网企业。
字节跳动AVG的张莉博士介绍说,视频压缩标准作为服务商必须遵循的规范,不仅蕴含着难以估量的商业价值,也会为用户带来实实在在的便利。通过标准制定与产品研发,字节跳动会持续创新并输出技术能力,与行业一起为用户提供更优质的视频服务。
电科技(www.diankeji.com)是一家专注于全球TMT行业的领先资讯媒体。
作为今日头条青云计划、百家号百+计划获得者,2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者,曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。
投稿、商务合作请联络微信公众号
声明:本站原创文章文字版权归电科技所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表电科技立场,图文版权归原作者所有。如有侵权,请联系我们删除。