基于二元树复小波的图像插值超分辨率算法
2009-06-09
作者：李丽芬 ， 肖志云， 常文霞
摘 要：根据二元树复小波理论和图像插值的特点，将二元树复小波变换与基于边缘插值方法相结合，得到一个放大的插值图像，然后将插值后的图像进行一级小波分解，将分解后的高频子带再做小波变换，并修正变换后的高频子带系数，进行图像重构后得到最终的插值图像。实验结果表明，该方法能够提高图像的分辨率，同时消除边缘处的 “振铃” 效应。
关键词：二元树复小波；边缘插值；超分辨率；小波重构
很多成像系统由于一些固有的内在和外在条件限制，获取的图像往往不能达到人们实际的需求。从硬件方面改进又需要高昂的费用，所以解决这一问题的有效途径是从软件方面入手来提高图像的分辨率。而插值技术作为一种简单的图像处理方法具有十分重要的实用价值。传统的插值方法主要有：最近邻域插值方法(zero-order-hold)、双线性方法(bilinear)和双3次插值方法(bicubic)。这些插值方法只利用了邻近像素的灰度值进行计算。其优点是方法简单，计算量小。不足之处就是误差较大，不能完全恢复图像丢失的高频信息，致使在处理图像边缘细节及纹理时不够理想，有时会出现方块效应或边缘退化现象[1-2]。
新出现的一些算法，如LiXin的基于边缘的插值算法[3]，得到的放大图像在边缘处理的效果上比传统的插值算法要好些。
小波变换具有多分辨率分析特点和逐渐局部细化等性质, 因此，图像经小波变换分解后进行处理比直接对图像进行处理要更加有效[4-5]，同时,小波变换的多尺度分解特性更加符合人类的视觉机制。二维实离散小波变换虽然具有以上优点，但其缺点是缺乏平移不变性导致了振铃现象和可选方向较少。而本文采用的二元树复小波技术[6]能较好地弥补以上不足。
基于保证插值结果的精确性和算法简明性的考虑,本文算法将LiXin的基于边缘的插值算法[1]与二元树复小波变换相结合对图像进行了超分辨率处理。
1 二元树复小波变换
二元树离散复小波变换不仅保持了传统小波变换良好的时频局部化的分析能力,还具有良好的方向分析性, 能够反映出图像在不同分辨率上沿多个方向的变化情况,更好地描述图像的方向属性。图1为一维信号的二元树复小波变换示意图，它实质上相当于采用2棵并行的实DWT小波树，将一棵树(a树)的输出作为复小波输出的实部，另一棵树(b树)作为虚部。在第一层的变换上，b树中的滤波器与a树中的对应滤波器间有一个样本的位移，在第一层后，各层上都取偶数长的滤波器，保证b树在下采样时始终能取到a树在下采样时舍弃掉的采样值，使总输出是输入的二倍冗余，以实现近似位移不变。一个二维二元树复小波变换可以区分频域空间的各个不同部分，将产生6个方向(±15°、±45°、±75°)的复系数带通子图。为了获取指向这些方向的冲激响应，应将a树和b树的尺度函数的输出系数(即低通滤波器的输出)看作是一个复数对，而把2棵树的小波函数的输出(即高通滤波器的输出)看作来自于另一复数对。
2 基于二元树复小波变换的边缘插值方法
2.1基于边缘插值方法
假设低分辨率图像为Xi,j，大小为H×W。对应的高分辨率图像为Yi,j，大小为aM×aN，其中a是整形放大因子。不失一般性，只考虑a=2时，有Y2i,2j=Xi,j。从Y2i,2j=Xi,j插值出Y2i+1,2j+1。
这里插值是在对角方向上的4个最近邻域进行。对自然图像的一个合理假设是它能够被模型化为一个局部平稳高斯过程。根据经典维纳滤波理论，最优最小均方误差线性插值系数为：
式(2)中，R、Y是在高分辨率下的局部协方差。
式中，M是局部窗的大小，
是局部窗内的点，C是沿着对角方向的4个最近邻域。根据(2)式和(3)式，则有：
将(4)式代入(1)式可得到Y2i+1,2j+1。
2.2基于二元树复小波变换的边缘插值方法
方法描述如下：图像f (x,y)经过一次二元树复小波分解后，实部和虚部都被分解为6个高频子带和2个低频子带。求出实部6个高频子带的系数并用边缘插值方法对其插值放大。同样对虚部6个高频子带进行处理，得到插值后的各虚部的高频子带系数。由于低频信息集中了图像的绝大部分能量，而双3次插值方法能够提高图像的整体清晰度。因此，对于低频系数，本文采用了双3次插值。各系数插值完成后对插值后的系数进行二元树复小波逆变换。
3 边缘处理
经过以上过程处理后的图像虽然得到了较好的插值效果，但图像边缘处还是比较模糊。由于高频信息对应图像的边缘信息，所以通过改变图像的高频信息，重构后将改变原图像的边缘特征，因此改变不同层次的高频子带信息，可以提高图像边缘处的对比度。依据这个原则，这里用一种基于小波变换的方法将插值后的图像进行进一步处理，以得到更好的边缘效果。方法描述如下：
如图2所示，对用以上方法得到的插值图像做小波分解，分解为：LL、HL、LH和HH 4个子带图像。其中LL子带集中了图像的大部分能量，3个高频子带HL、LH、HH对应了图像不同方向的边缘信息。将小波变换后的图像的高频子带继续做Haar小波变换。每个高频子带做1次Haar变换后可以得到4个子带，通过修改高频信息，可以在重构图像时得到需要的图像效果。
3.1修改高频系数
令w00、w01、w10、w11表示每个高频子带经过Haar变换后得到的4个子带系数，e0、e1、e2、e3分别为子带w00、w01、w10、w11系数模最大值。为了突出边缘，经多次实验本文按以下公式修改高频小波系数为：
3.2重构图像
图3为对修改了的小波系数进行高频Haar逆变换和小波逆变换，即得到本文最后的的重构图像。
4实验结果分析
根据本文的方法对Lena(256×256)和Lena(128×128)图像进行了处理。图4、图5分别为用参考文献[1]的新边缘插值方法、传统小波变换方法和本文方法对Lena(256×256)和Lena(128×128)放大4倍后的结果比较。经过比较可以看出，经本文处理的图像较好地保持了图像的纹理特征，增强了图像的边缘，克服了图像插值后的纹理模糊现象。
由图6的 Lena(256×256) 和图7的Lena(128×128)局部放大图像眼部细节比较能够清楚地看到，本文方法优于新边缘插值方法和传统小波变换插值法得到的放大图像。使得到的图像在边缘处更加细腻，细节和纹理更加清晰。
表1列出了用参考文献[1]方法、传统小波变换方法和本文方法放大后图像的峰值信噪比(PSNR)。从PSNR中也可以看出，本文方法优于参考文献[1]方法和传统小波变换方法，与参考文献[1]方法相比，Lena(256×256)和Lena(128×128)图像PSNR分别高出1.19dB和2.90dB，与传统小波变换方法相比，Lena(256×256)和Lena(128×128)图像PSNR分别高出0.07DB和0.02DB。
本文针对图像超分辨率过程中传统的插值方法误差较大，处理后的边缘细节及纹理不够理想，有时会出现方块效应或边缘退化的缺点，利用二元树复小波变换与边缘插值方法相结合放大图像，然后对放大图像的高频系数进行修改，最后通过小波逆变换得到重构后的图像。实验结果表明，与传统方法相比，本文算法可以明显提高图像的清晰度，既保留了丰富的细节,又抑制了边缘震铃效应，同时PSNR也有所提高。将二元树复小波变换与边缘插值方法相结合应用到图像超分辨率重建中来，具有一定的理论研究价值和实际应用价值。
参考文献
[1] ATES H F, ORCHARD M T. Image interpolation using wavelet-based contour estimation[J]. IEEE Acoustics, Speech, and Signal Processing, 2003, 3(4): 109-112.
[2] TAPIA D F, THOMAS T G, MURGULA M C. Wavelet-based interpolation algorithm for MRI images[J]. Journal of Alloys and Compounds, 2004, 369 (2004): 239-243.
[3] LI Xin, MICHAEL T. Newedge-directed interpolation[J]. IEEE Trans on Image Processing, 2001, 10(10): 1521-1527.
[4] NGUYEN N, MILANFAR P. A wavelet-based interpolation-restoration method for superresolution[J]. Circuits Systems Signal Process, 2000, 4(19): 321-338.
[5] YU Len Huang. Wavelet-based image interpolation using multilayer[J]. Neural Computing and Applications, 2005, 1(14): 1-10.
[6] KINGSBURY N. A dual-tree complex wavelet transform with improved orthogonality and symmetry properties[J]. IEEE Image processing, 2000, 1(2):375-378.