摘要：解析速度更快、效果更好、码率更低、机型更广的即构端上超分。

即构超分追求：速度更快、效果更好、码率更低、机型更广。

超分辨率（Super Resolution，SR）是从给定的低分辨率（Low Resolution， LR）图像中恢复高分辨率（High Resolution，HR）图像的过程，是计算机视觉的一个经典应用。SR 是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像。在直播、点播、监控设备、视频编解码、卫星图像遥感、数字高清、显微成像、视频复原和医学影像等领域都有重要的应用价值。

超分辨率在广义上包含三种技术方向：

1）单帧图像超分辨率放大；

2）多帧连续图像重建超分辨率单帧图像；

3）视频序列的超分辨率重建视频帧。

本文侧重单图像超分辨率放大。主要是用大量的高清图像和低质图像数据对的先验知识，基于深度学习技术进行低质图像的高频信息的复原。

移动端超分面临的挑战

业界主流基于深度学习的超分模型参数量在 300K 以上，FLOPs 在 100G 以上，在普通 GPU 显卡上，都很难做到 30 帧每秒（640x360 放大2倍到 1280x720），在移动端上只能处理单帧图片，且不能用于实时通话中。

所以，如何让超分在移动端实时跑起来，将是个巨大的挑战：

1、移动端实时视频分辨率比较低（640x480 左右），而移动手机显示屏分辨率一般都比较高（1920x1080，甚至到 2340x1080），如 Apple 13 ProMax 显示屏分辨率为 2778 x 1284；

2、每帧处理耗时要低于30毫秒（640x360 超分到 1280x720），否则会有明显的卡顿；

3、超分处理后，图像或视频相对于没开启超分，要有明显的主观、客观质量提升。

那么，基于深度学习的超分网络模型设计也需要面临挑战：

挑战一：网络模型参数量过大，一般都大于 500K；

挑战二：模型运算量过大，推理时非常慢，一般都大于 100G FLOPs；

挑战三：超分区别于其他计算机视觉如目标检测与跟踪技术，不能对输入的图像或视频进行缩小。

图1：Urban100数据上各个超分PSNR示意图，横坐标是模型的参数量，纵坐标是模型在Urban100数据集上的PSNR。为了便于和业界公开论文，在公开数据集上比较，大家都使用PSNR/SSIM来评价图像质

量。

即构超分技术

2.1 指导模型设计

考虑到 GPU 资源有限、任务多，所以要尽可能的设计一个直达任务目标的极小网络模型，且节约 GPU 资源。

北京某超算中心提供的 2 卡 V100-32G 云服务，每小时 6 元，则一个月的费用是7x24x30x6元=30240元/月。所以当我们设计了一个模型，花了很长时间好不容易训练出来，结果在移动端没法实时，也是浪费算力和人力。

那么我们如何能在不做任何训练的情况下，从仅有的一些模型数据中，寻找真正所需要的移动端网络模型呢？

图2：不同架构模型设计下的参数量与运算量

2.2 极轻量级模型设计

一般来说，轻量级超分模型设计架构如下：

图3：轻量级超分网络模型架构

如何设计轻量级([1]~[11])的超分网络模型呢？

优化 BasicBlock 基础块，调整 Skip Connection，并且让每个卷积基础块都能充分发挥其功效而不冗余。但是这样的网络模型，在参数量、运算量极度限制的情况下，卷积个数屈指可数，特征通道数也极度有限。那么我们又该如何设计？

1）优化基础残差块：让每个卷积发挥关键性的、不冗余的作用，1x1 和 3x3 卷积是必然首选。让通道内部、通道之间进行特征信息共享，降低参数量、运算量，有效提取特征、重建；

2）优化模型设计框架：大模型训练，等价或几乎等价小模型推理，但不限于单纯的知识蒸馏等技术，并且还需结合量化做训练。

3）操作算子的选择：尽可能选择前馈推理库支持的操作算子，否则很耗时；

4）优化损失函数：蒸馏损失、梯度损失、TV损失、DCT损失、FFT损失、特征信息损失等；

5）优化训练技巧和数据集：结合实际视频业务流程，懂视频编解码，制作适合业务的训练数据集，而不是单纯的调参。实际业务中，60%靠数据，30%靠网络模型，10%靠调参训练技巧，三者互为补充。

2.2.1 优化基础残差块

图4：优化基础残差块过程

图5：PAMS2020[11]

PAMS2020[11]这篇超分文章也给了我们一个思路：

 

1）量化及支持量化的推理库，2bit量化及支持2bit量化的前馈推理库是至关重要的，2bit量化结合大模型训练小模型推理，带来了很大的效果和性能优化空间，而不用苦苦追寻性价比下确界；

 

2）结构化特征信息知识损失；

 

3）引申出大模型训练，等价小模型推理。

2.2.3 其他优化

2.3 模型压缩及加速

1. 量化(PQT/QAT)与支持量化的推理库，需要自研支持量化的前馈推理库；

   
   

2. 硬件加速，比如使用高通的 DSP（SNPE）、各个厂家的 NPU/APU、苹果的 ANE 等；

   
   

3. 支持量化的硬件加速；

基础对比实验

图6：近几年超分辨率现有技术的各个指标数据，640x360两倍放大到1280x720，数据来源于其论文或开源或复现

从图6各个数据集上可以看出，ZEGO 超分表现卓著：

1、ZEGO 大模型，优于 IMDN 2019（AIM 2019冠军），参数量是 IMDN 的一半，FLOPs 也是其一半；

2、ZEGO 大模型，相比于 RFDN2020（AIM2020冠军），PSNR/SSIM 略低，但参数量是它的一半，FLOPs 是其三分之二；

3、ZEGO 小模型，5.848K 参数量下，优于 SESR-M3；

4、ZEGO 最新极小极小模型，0.972K 参数量，0.24422G 的 FLOPs，性能很接近于双立方插值，而 Set5 上的 PSNR/SSSIM 为 36.5431/0.9536，还是显著优于双立方插值的 33.66/0.9299。

未来展望

高分辨率的视频能提供更清晰的画面和更高阶的感官体验，对于提升视频质量和用户视觉感受有很大的帮助。ZEGO 即构科技发布移动端实时超分辨率技术，帮助客户获得畅爽的视频体验，致力于打造更高水平的图像恢复和图像增强。

未来，即构超分将继续进行算法性能优化，提升视频效果，做到——

更快！极低功耗，极低耗时！

更好！提升视频主观质量！

更低！结合编解码，实现高清画质下的极低码率！

更广！覆盖更多机型！

附：参考文献