0 引言

　　超分辨率重建（Super-Resolution，SR）技术是利用一幅或多幅低分辨率图像生成一幅高分辨率图像。实际应用中需要用到这种分辨率增强技术，如在高分辨率显示设备上显示由低分辨率传感器捕获的图像时，可减少视觉上的伪影。文中主要研究单幅图像的超分算法，输入的低分图像只有一幅，另外还有多幅各类图像组成的训练集，通过字典训练和图像重建后形成预测的高分图像，是一种基于学习的方法。

　　FREEMAN W T[1]利用马尔科夫随机场（MRF）建立高分图像和低分图像间的联系用于超分重建。CHANG H[2]等应用“流形学习”的理论将局部线性嵌入（Local Linear Embedding，LLE）用于超分重建，提出邻域嵌入（Neighbor Embedding，NE）法，所需训练样本较少，但会导致过拟合和欠拟合现象。以此为基础，GAO X[3]等提出将稀疏编码邻域选择算法应用于图像重建，虽然解决了NE法的问题，但重建复杂结构图像时效果不佳。YANG J C[4-5]等将机器学习引入到超分重建中，提出利用字典学习的稀疏编码超分算法(Sparse Coding Super Resolution，SCSR)。ZEYDE R[6]和YANG J[7]等在不同程度上提升了超分速度或效果。在众多的超分辨率重建研究中，学者们都用训练样本来重建高分图像，但大多数学者并不太关注图像各区域的区别和训练样本的组织问题，而这些方面可以为减少超分过程中的计算量，提高超分速度，打开新的思路。

1 基于稀疏编码的超分辨率重建

　　稀疏编码的目的是用一组基元的线性加权组合来近似表示输入信号x∈Rn。这些基元是一些基础信号，往往是从一个超完备字典D∈Rn×K(n<K)中选出的。稀疏编码就是自动找出较好的基元组合的方法，因此单幅图像的超分辨率重建问题可以表示为：

　　其中，pk为第k个图像块，D为超完备字典，qk为稀疏系数。H和S分别为模糊和下采样操作数。从超分重建的角度看，S可理解为将输入低分图像Y放大s倍后得到与高分图像相同尺寸的超分图像X?鄢，并使其与原始高分图像X的误差最小。

　　1.1 稀疏编码解决方案

　　一些典型的超分重建问题解法中，常将式(1)稀疏先验中无确定解析式的l0-范数近似放松至l1-范数，再引入拉格朗日乘子式来形成最小化表达式[8]：

　　其中F为特征提取操作数，用来提取低分输入图像块的边角信息，正则化参数?姿为平衡式中两项的常数。以稀疏表示理论为基础，YANG J C[4]和He等人提出联合字典学习方法训练生成超完备字典，其中字典训练和图像重建阶段分别使用K-SVD和OMP算法。虽然这些基于稀疏编码的超分算法能得到比较好的高分图像，但是耗时较长，制约了其实时应用。

　　1.2 加速超分辨率重建的思路

　　自然图像中包含高频和低频部分。前者为边缘和角等跳变幅度较大区域，后者为相对平滑区域。图像放大时，插值法比应用稀疏编码的方法速度快得多，但沿图像边角会产生较明显的伪影，如振铃、锯齿和模糊等。尽管整体超分效果不如稀疏编码法，但它在平滑区域的超分效果也非常好。YANG J C[4]分别用Bicubic和SCSR放大图像“Lena”中的近2500个图像块，并对放大图像块的RMSE值进行对比。结果表明，10%的图像块Bicubic方法比SCSR效果更好，28%的图像块SCSR方法更好，分布在图像的边角、轮廓部分，如Lena的帽檐和脸颊边缘。而其他的62%图像块用两种方法的效果基本相同。因此，可将特征提取后的高频图像块按照一定的标准分成几类，再以平衡超分效果和速度为依据，用不同的方法处理相应类别的图像块，提高图像整体的超分速度。

　　此外，一幅图像是由成千上万的图像块组成的，对于每个图像块，可以通过减少它的维度来减少图像块处理中的运算量。大量图像块处理时，维度较少的图像块累积节约下来的运算时间能为提高超分重建的速度作出较大的贡献[6]。

2 图像块分类处理超分算法

　　文中提出的基于图像块分类处理的超分辨率重建算法是一种改进的稀疏编码超分算法（Proposed Sparse Coding Super-Resolution，PSCSR），包括图像训练和图像重建两部分，具体算法如下：

　　(1)超分训练阶段：

　　①将训练图像划分为图像块对；

　　②去掉的低频信息，从提取特征；

　　③利用PCA对降维，得到；

　　④联合字典训练得到高分字典Dh和低分字典Dl。

　　(2)超分重建阶段：

　　①根据所选阈值对将图像块利用均值和方差进行分类，并予以标记；

　　②Bicubic插值处理第一类图像块；

　　③用NE超分放大第二类图像块；

　　④利用Dl在第三类图像块上计算其稀疏表示；

　　⑤将求得的稀疏系数和Dh相乘来恢复第三类图像的目标高分图像块；

　　⑥用取平均值的方法在重叠区域融入；

　　⑦结合以上3种图像块处理方法，形成目标高分图像。

　　2.1 图像块降维

　　图像块分类处理超分算法利用主成分分析（Principal Component Analysis，PCA）来对每个图像块进行降维处理。PCA是统计模式识别中一种典型的特征提取方法，提取的新特征是原始信号特征的线性函数，建立的低维子空间能最好地反应数据点集和平均值之间的区别。空间中的维度越少，图像模式间的距离越小，可避免高维空间中分类的复杂度。

　　图像超分时，从划分好的低分图像块开始，所有图像块的总像素均为，经过插值操作数Q和R线性滤波器集后，可以表示为nR维的。结果图像块的实际维度（n/s2）不会增加，而且它比nR要小得多，使计算量过大。降维的主要作用在于节省训练和超分时的计算量。因此，在转到字典学习阶段之前的最后一步就是减少输入低分图像块的维度。PCA算法应用到这些图像块向量，寻找一个能够投影图像块的子空间，并保留99.9%的平均能量。这种投影操作将图像块∈RnR转换为降维后的特征向量∈Rnl，定义B∈Rnl×nR。

　　2.2 图像块分类

　　将低分图像划分成有一定重叠区域的p×p图像块集，则每个高频图像块绝对像素值均值为：

　　其中，fk(i，j)是低分图像的高频部分第k个图像块的绝对像素值。而低分图像的高频图像块的均方差可表示为：

　　低分图像的每个高频图像块为pk，均值和方差对记为(Mk，MNk)，其中k=1，…，mn，每个图像块的均值和方差均用式(3)和(4)计算。根据图像特点，选取一个均值、方差阈值对(Mky，MNky)，与每个图像块的均值和方差对比较，并用MSk标记如下：

　　这样，所有高频图像块均按均值和方差阈值划分为3类。为验证此分类法，实验将“Lena”划分为若干个相同大小的图像块，设置均值和方差阈值对为（40，400），则图像块被分为3类。为便于标注，第1类图像块的亮度值不变，第2类和第3类的亮度分别减少和增加50。图1中可看出，亮部（第3类）集中在边角区域，暗部集中在连续变化区域（第2类）。

　　2.3 图像块处理

　　按照MSk标记的图像块，根据算法2按图像块类型将不同区域的图像块用不同的方法进行处理[9]。

　　（1）第1类：表示图像特征的相对平坦区域，其高频部分可看作是高频噪声，只需用最快的Bicubic算法将这类图像块插值形成相应的高分图像块。

　　（2）第2类：表示图像的连续变化区域，为平衡超分速度和超分效果，选用NE法重建高分图像块。

　　（3）第3类：表示图像边角和纹理。为提升图像边缘的锐度和整体的清晰度，使用相对精确的SCSR算法来生成高分图像块。

　　在图像重建阶段，所预测的高分图像块拼接起来重建预测的高分图像X，在重叠区域将每个像素多个预测值的平均值作为最终的复原值[10]。

3 实验结果

　　实验在一台英特尔Core i5、1.6 GHz的笔记本电脑上用 MATLAB完成。除明确指出外，所设置的基本参数都相同。图像训练中总共采样10 000个低分图像块，大小为5×5，放大倍数s=3。利用随机梯度递减在字典学习阶段所得字典对尺寸为k=1 024，正则化参数取λ=0.1。运用文献[4]中的方法提取低分图像的特征，F使用4个滤波器进行求导。

　　3.1 超分图像效果对比

　　比较结果图像和原始高分图像的相关性时，利用通用的PSNR计算方法来量化不同超分算法的效果。图2中大多数实验图像使用PSCSR方法比SCSR的效果稍有下降。因为它在简化运算和降维的处理过程中会丢失一些图像信息。但从整体上看，PSCSR的方法的效果几乎和SCSR方法相同。所有实验图像的PSCSR效果均优于NE。而在第2幅图像“Zebra”中，由于存在大量的纹理细节，用SCSR进行图像放大时产生了较严重的伪影，其PSNR值比PSCSR还要低。

　　图3中为局部放大的超分目标图像，除了Bicubic法外，其余3种方法的超分效果在视觉上处于同一水平。在“Zebra”图像中，SCSR算法在恢复图像边角的锐度方面表现最好，但同时伴随了较为严重的锯齿和伪影，导致图像纹理发生了扭曲和形变。PSCSR方法结果看起来较为模糊，但是相对于其他方法，图中斑马脖子上的纹理细节恢复得更好。在另一幅图像“Girl”中，后3种算法的超分效果非常接近。图中女孩的眼睛和眼珠的轮廓部分都能够清晰地还原出来。这些与图3中的PSNR值表现是一致的。

　　3.2 超分速度对比

　　从表1中可以看出，超分耗时与图像尺寸密切相关，图像越大，耗时越长，反之亦然。3种超分方法的超分耗时的关系可以描述为：tPSCSR<tNE<tSCSR。文中提出的PSCSR方法通过图像分类处理和图像降维来减少图像超分过程中的计算量，理论上可以以此来提高超分速度。表1的数据很好地证明了这一点。PSCSR方法所消耗的时间比文中提到的SCSR、NE等典型算法都要少。5幅测试图像的超分速度平均下来，PSCSR能够比SCSR快17.2 s，比NE快12.1 s。

4 结论

　　为提高基于实例学习的单图超分辨率重建算法的速度，文中提出了一种基于图像块分类处理的快速超分重建算法。一方面，根据各种典型算法的超分速度和它们对图像中各区域的超分效果分析，选取图像块的均值和方差阈值，将图像块按不同的均值和方差范围分成3类，分别采用Bicubic、NE和SCSR 3种方法进行图像块重建，相对于完全采用稀疏编码的方法，减少了部分计算量。另一方面，引入PCA对每个图像块进行降维处理，维度较少的图像块处理过程中计算量也相对较少。实验表明，文中算法的超分效果与经典的SCSR和NE保持在同一水平的同时，超分速度有较大幅度的提升。在后续研究中，可以从优化稀疏编码的复杂度入手，提高计算效率，从而进一步提高超分重建的速度。

　　参考文献

　　[1] FREEMAN W T，PASZTOR E C，JONES T R，et al.Example-based super-resolution[J]．IEEE Computer Graphics and Applications，2002，22(2)：56-65.

　　[2] CHANG H，YEUNG D，XIONG Y M.Super-resolution through neighbor embedding[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Washington.D.C，USA：IEEE，2004：275-282.

　　[3] GAO X，ZHANG K，TAO D，et al.Joint learning for single-image super-resolution via a coupled constraint[J].IEEETransactions on Image Processing，2012，21(2)：469-480.

　　[4] YANG J C，WRIGHT J，MA Y.Image super-resolution via sparse representation[J]．IEEE Transactions on Image Procesing，2010，19(11)：2861-2873.

　　[5] YANG J C，WRIGHT J，HUANG T，et al.Coupled dictionary training for image super-resolution[J].IEEE Transactions on Image Processing，2012，21(8)：3467-3478.

　　[6] ZEYDE R，ELAD M，PROTTER M.On single image scale-up using sparse-representations[C].Proceedings of the 7th International Conference on Curves and Surfaces Avignon，France：Springer，2010：1-20.

　　[7] YANG J，LIN Z，COHEN S.Fast image super-resolution based on in-place example regression[C].Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2013，Portland，2013：1059-1066.

　　[8] 练秋生，张伟.基于图像块分类稀疏表示的超分辨率重构算法[J].电子学报，2012，40(5)：920-925.

　　[9] Xie Qinlan，Chen Hong，Cao Huimin.Improved example-based single-image super-resolution[C].Image and Signal Processing(CISP)，2010，3：1204-1207.

　　[10] 潘宗序，禹晶，肖创柏，等.基于自适应多字典学习的单幅图像超分辨率算法[J].电子学报，2015，43(2)：209-216.