你好,游客 登录
背景:
阅读新闻

一场深度学习引发的图像压缩革命

[日期:2018-03-30] 来源:雷锋网  作者: [字体: ]

雷锋网 AI 研习社按,2012 年,AlexNet 横空出世,以 15.4% 的低失误率夺得当年 ILSVRC(ImageNet 大规模视觉识别挑战赛)冠军,超出亚军十多个百分点。AlexNet 开启了深度学习黄金时代,随之而来是深度学习在图像识别上的蓬勃发展:

2013 年,ZF Net  以 11.2% 的低失误率夺得 ILSVRC 冠军;

2014 年,VGG Net 在 ILSVRC「分类及定位」比赛单项赛上的失误率为 7.3%,同年,GoogLeNet 以 6.7% 的失误率取得 ILSVRC 冠军;

2015 年,Microsoft ResNet 在 ILSVRC 达到 3.6% 的失误率;

……

除了在图像识别上的一系列突破,深度学习也为图像压缩带来革命性改变。

近日,图鸭科技发布图像压缩技术 TNG(tiny network graphics),其采用深度学习卷积网络作为压缩核心编码。他们的合作对象主要集中在娱乐(在线抓娃娃机)、视频社交(多人通信)、游戏等领域,目前,该算法即将投入商用。与传统算法相比较时,在压缩效率上,TNG 相比 JPEG 提高了 120%,比 WEBP 提高了 30%。在同等压缩率下进行压缩视觉效果对比时,TNG 在纹理细节上比 JPEG2000 的效果要好得多。

图 :在同等压缩率下,对复杂图像压缩视觉效果对比。上图为图鸭所提出的算法,下图为 JPEG2000 算法。可以看到上图的细节效果更好。

图:在低码字情况下 TNG(上图) 与 WebP(下图) 压缩效果对比。相比TNG,WebP 尽管保留了更多细节,但是其失真更多。TNG整体图像效果优于WebP。

JPEG 是目前比较常见的图像压缩方式,在获得极高压缩率的同时能展现十分丰富生动的图像,但是它采用有损压缩格式,会丢失图像中的重复或不重要的信息,因此容易造成图像数据的损失。其主要采用 DCT(Discrete Cosine Transform)技术,将图像信号在频率域上进行变换,分离出高频和低频信息,然后再对图像的高频部分(即图像细节)进行压缩,以达到压缩图像数据的目的。

JPEG2000 作为 JPEG 的升级版,同时支持有损压缩和无损压缩,压缩率比 JPEG 高约 30% 左右。它放弃了 JPEG 所采用的以离散余弦转换 DCT 为主的区块编码方式,而改采以小波转换 (Wavelet transform) 为主的多解析编码方式,来将影像的频率成分抽取出来。

WEBP 是 Google 推出的新一代文件格式,期望代替 JPEG,在与 JPEG 相同图片质量的情况下,可以大大缩小文件大小。WEBP 采用一种基于 VP8 编码(已于 2010 年 5 月开源)的图片压缩器,利用预测编码技术,达到减少数据量、加速网络传输的目的。

而 TNG 一改传统的这些编码技术,转而乘上深度学习这艘大船。

据图鸭科技 CEO 武俊敏介绍,他们从 16 年 8 月开始对 TNG 技术进行研发,历经传统算法和深度学习算法两个阶段。最初,他们在 H.265(HEVC)基础上进行研究,但 H.265 已经是当时最优秀的编码方法之一,基于这项技术进行传统研发的新思路并不多。此时,另一条路摆在他们眼前,那就是深度学习。

方向的转变并非一帆风顺。「我们当时考虑把传统方法里的思路与深度学习想结合。比如传统方法有周围像素预测,我们结合这种方法进行研究,但发现预测效果不好。之后我们还想到了传统方法里的 DCT 变换,将其与深度学习融合之后,发现效果也不好。另外,虽然深度学习在当时很火,但彼时利用深度学习进行图片压缩,做出来的效果相比 H.265 的老版本 H.264 以及 JPEG 都差很多。」但他们认为,再往后,深度学习一定有机会超越 H.265。

他们开始由传统算法彻底转向深度学习算法。

随后是一系列研发与创新。效果是显著的,他们目前的深度学习图像压缩技术 TNG 比起 H.265,在指标上取得前所未有的突破,而且 TNG 网络压缩过的图片还具有滤波效果,对于一些在网络上失真的图像,用 TNG 压缩之后的视觉效果比起原始图还要好一些。

图:高码字情况下 TNG(上图)与 BPG(下图)对比。在实际测试中,BPG 会出现图中所示的块状,这是高频失真导致的振铃效应。振铃效应是因为 BPG 在编码压缩时尽管图片的不同块内容不一样,但采用了同一编码参数,而导致的图像退化中信息量的流失,尤其是高频信息的丢失。

武俊敏对雷锋网 AI 研习社说道,「TNG 压缩不会因为多次压缩导致主观质量越来越差,还能恢复 JPEG 等方法带来的部分失真。」他举了如下例子:一些利用 HEVC 或 JPEG 压缩的图像存在块效应(块效应:基于块的变换编码在图像压缩编码中得到广泛应用,随着码率的降低,量化变得粗糙,在块的边界会出现不连续,形成重建图像的明显缺陷)。但用 TNG 网络处理后,块效应就会消失。

可以看到,将深度学习技术应用于 TNG 中,带来了非常强大的视觉效果。目前在图片、视频压缩领域,使用最多的深度学习技术就是卷积神经网络(CNN),下面是利用卷积神经网络做压缩的典型方法。

如图所示,主要包括 CNN 编码网络、量化、反量化、CNN 解码、熵编码等几个模块,其中编解码网络可以用卷积、池化、非线性等模块进行设计和搭建。

编码网络的作用是将图片转换为压缩特征,解码网络就是从压缩特征恢复出原始图片。

下面是利用深度学习做压缩的一系列科普:

以图片举例,将一张大小为 768 * 512 的三通道图片送入编码网络,进行前向处理后,会得到占据 96 * 64 * 192 个数据单元的压缩特征。该数据单元中可放一个浮点数、整形数或者是二进制数。这之后就涉及到数据类型的选择。

从图像恢复角度和神经网络原理来讲,如果压缩特征数据都是浮点数,恢复图像质量是最高的。但一个浮点数占据 32 个比特位,图片的计算公式为(96 * 64 * 192 * 32)/(768 * 512)=96,压缩后每个像素占据比特从 24 变到 96,图片大小反而增加了,显然浮点数不是好的选择。

而这里,就涉及到其中的关键技术——量化。

量化的目的是将浮点数转换为整数或二进制数,最简单的操作是去掉浮点数后面的小数,浮点数变成整数后只占据 8 比特,则表示每个像素要占据 24 个比特位。同样,在解码端,可以使用反量化技术将变换后的特征数据恢复成浮点数,如给整数加上一个随机小数,这样可以一定程度上降低量化对神经网络精度的影响,从而提高恢复图像的质量。

即使压缩特征中每个数据占据 1 个比特位,可是压缩还是有可进步的空间。下面是 BPP 的计算公式。

假设每个压缩特征数据单元占据 1 个比特,则公式可写成:(96*64*192*1)/(768*512)=3,计算结果是 3 bit/pixel,从压缩的目的来看,BPP 越小越好。在这个公式中,分母由图像决定,这里进行调整的只有分子:96、64、192,这三个数字与网络结构相关。所以,如果设计出更优的网络结构,这三个数字也会变小。

那 1 与哪些模块相关?1 表示每个压缩特征数据单元平均占据 1 个比特位,量化会影响这个数字,但它不是唯一的影响因素,它还与码率控制和熵编码有关。码率控制的目的是在保证图像恢复质量的前提下,让压缩特征数据单元中的数据分布尽可能集中、出现数值范围尽可能小,这样我们就可以通过熵编码技术来进一步降低 1 这个数值,图像压缩率会进一步提升。

(详情可参见雷锋网此前报导:用深度学习设计图像视频压缩算法:更简洁、更强大)

具体到 TNG 网络,武俊敏表示,这一技术看起来很简单,就是利用卷积神经网络,主要有变换,量化,滤波,熵编码等技术。而这些技术的最终目的只有一个,那就是估计图像的概率分布,这也是最困难的。

「我们不知道概率分布到底是什么样的,所以必须去设计网络,来拟合图像的概率分布,进行学习。学完之后,还要考虑该如何压缩图片,让图片在质量和码率上达到最优分布。」

他表示,虽然技术看起来很简单,将其串联起来也没有什么挑战,但训练算法很复杂,而在这其中,他们踩的坑也有很多。

首先就是量化并不好建模,他们最初量化的时候想直接将数据进行截断,再拿来建模,可是这样存在一个问题——梯度传不回去。通过不断试验,他们最后采用监督学习的方式解决这一问题。

而同时也存在效率的问题。他们一开始采用比较深的网络,但后来为了提升速度,降低网络复杂度,慢慢尝试使用更小的 channel 以及更浅的网络。此外,在工程上,他们尝试使用汇编优化等手段。

对于TNG的技术优势,武俊敏总结为如下两点:第一,TNG 图片压缩的 PSNR 值相比目前公开的 deep learning 压缩在相同大小下高 2dB;第二,TNG 压缩的图片,在主观质量上没有方块效应、振铃效果等。「我们采用的是全图直接压缩,而一般图片压缩使用的是分块压缩。」

至于速度,武俊敏对 AI 研习社说道,目前来说,和 JPEG 相比,TNG 在 CPU 上压缩的比较慢,但是,在 GPU 上,1000*1000 的图像只需几十毫秒就可以完成压缩。

其实,除了图像压缩,他们目前在视频压缩上也有进展。武俊敏表示,他们目前的视频压缩已经和 x265(用于编码符合高效率视频编码(HEVC/H.265)标准的视频) 的 medium level 效果持平。下一阶段,他们会继续在图像和视频上取得突破,不断改进。

对深度学习技术在图像视频压缩领域的应用,武俊敏非常乐观。他对 AI 研习社表示,两三年之内,GPU 会大大普及,而 TNG 压缩算法在 GPU 上跑得特别好。此外,他还提到,TNG 压缩的是图片的特征,这些特征具有很强的表征性能,未来可以利用这些特征做一些多任务的处理。

「深度学习对于图像视频压缩,绝对是革命性的。下一代的压缩,不是 H.266,而是深度学习的压缩。」武俊敏如是说道。

目前大家可以进入图鸭官网体验 TNG 算法,地址如下:http://www.tucodec.com/picture/index

收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款