0 引言

    当前，随着数码电子产品和多媒体终端设备的普及，图像信号获得了广泛的应用^[1-3]，伴随而来的图像质量评价的研究引起了人们的重视^[4]。误差或者信噪比等经典方法都是基于像素失真程度大小来评价图像质量，这些方法虽具有最广泛的应用领域，但却与人眼主观判断结果存在较大的差距。通过引入人眼视觉机制而提出的结构相似度(Structural Similarity，SSIM)方法则基于局部像素域相似度大小来评价图像质量^[5]。近年来，学者们相继提出了一些改进的SSIM评价方法，例如，多尺度结构(Multi Scale Structural，MSS)方法融合了图像的多个尺度评价结果^[6]，梯度相似度(Gradient Similarity Metric，GSM)方法融合了图像的边缘信息^[7]，特征相似度(Feature Similarity，FSIM)方法结合了相位信息和边缘信息^[8]，视觉显著索引(Visual Saliency Index，VSI)方法融合了图像的频率、颜色和局部3种先验视觉特征^[9]。此外，基于图像特征和视觉特性的联合处理还提出了一些其他SSIM类方法^[10-13]。总结起来，上述SSIM类改进方法虽然取得了一些成果，但仍然存在一些问题，主要体现在：(1)仅仅提高了部分失真类型图像的评价指标水平，整体上仍与人眼主观判断结果存在一定差距；(2)对于图像不同失真程度的评价结果不稳定性；(3)多特征评价结果的乘积融合算法导致性能的改进效果不明显。上述问题说明针对复杂的实际应用场景，现有方法性能将会出现非常明显的退化。

    针对上述问题，本文提出了一种融合视觉结构显著和视觉能量显著(Visual Saliency of Structure and Energy，VSSE)特征互补的评价方法，并通过实验测试了所提方法的评价性能。

1 VSSE方法原理

    VSSE方法原理可用图1描述，包括了视觉特征处理、视觉特征评价和视觉特征评价融合3个阶段，其中，每个阶段都融合了人眼视觉系统(Human Vision System，HVS)的感知处理特性。VSSE方法具体包括以下步骤：(1)利用高斯滤波函数^[8-9]对原始图像进行卷积处理，模拟了HVS的瞳孔感光散射特性；(2)利用Log-gabor小波对滤波后的图像进行二维变换，提取图像不同层次的信息特征，模拟了HVS的多通道信息感知特性，并通过对比度算子^[5]和梯度算子^[9]提取每个尺度分辨率下的对比度视图和梯度视图；(3)将HVS的中央凹特性函数T(i，j)和对比度敏感特性函数CSF[f(s，o)]融入恰可识别阈值滤波算法，获取每个尺度下的每层视觉特征稀疏视图，其中，s代表Log-gabor小波的尺度因子，o代表Log-gabor小波的方向因子；(4)基于SSIM评价算法计算失真图像在每个尺度下的每层视觉特征的评价视图；(5)以T(i，j)作为权重，对失真图像的每个尺度下的每层视觉特征的评价视图分别进行融合，获得对应尺度下的对应视觉特征的评价结果分值；(6)以CSF[f(s，o)]作为权重，对失真图像同一个视觉特征下的多个尺度评价结果分值进行融合，获得对应视觉特征下的评价结果分值；(7)基于HVS的视觉自适应特性和图像失真程度，对视觉灰度能量特征评价、视觉对比度能量特征评价和视觉梯度结构评价依次进行融合，最终获得失真图像质量的结果分值。

1.1 视觉特征评价原理

    基于SSIM评价算法，分别对失真图像的视觉灰度特征、视觉对比度特征和视觉梯度特征的多尺度通道视图进行评价，原理如下：

1.2 视觉特征评价融合原理

1.2.1 尺度内局部中央凹空域加权融合

    鉴于现有参考文献的不足^{[5，8，14-16]}，本研究提出视觉特征显著和视觉中央凹空域分辨率两步联合权重，视觉特征显著加权融合算法如下：

1.2.2 尺度间对比度频域加权融合

    基于对比度频域权重的尺度间融合算法如下：

式中，J为o的数量，K为s的数量。

1.2.3 基于图像失真度的视觉自适应融合

    基于回归拟合函数将各层视觉特征评价从内至外逐层融合，首先将视觉灰度评价Z_L和视觉对比度评价Z_σ进行融合，获得视觉能量评价Z_E如下：

2 实验分析

2.1 实验方案设置

    本实验方案如图2所示，本实验采用了国际上权威的LIVE数据库，根据LIVE数据库中不同的图像失真类型，将每帧失真图像的客观评价分值通过曲线方程进行数据拟合，然后根据主观评价结果(Difference Mean Opinion Score，DMOS)测试所提方法的评价指标水平。

    参照VQEG标准，本实验曲线拟合方程如下：

式中，x为客观评价结果分值，y(x)为拟合结果分值，β₁、β₂、β₃、β₄、β₅均为根据VQEG标准设置的拟合参数。测试指标采用了VQEG标准建议的RMSE、PLCC和SROCC，其中，RMSE为均方根误差指标，该项数值越大说明对应方法的RMSE指标水平越低，PLCC为主客观评价结果的拟合相关系数，SROCC为主客观评价结果的排序相关系数，PLCC和SROCC的数值越大说明对应方法的PLCC和SROCC指标水平越高。参照相关参考文献^[10-13]对有关参数进行设置，其中，C=0.000 1，[Q(s，o)，P(s，o)]=16×16。

2.2 失真类型的测试结果分析

    表1是各种方法基于5种失真类型图像的均方根误差RMSE、Spearman秩序相关系数PLCC和Pearson线性相关系数SROCC 3个指标水平的测试结果，参与比较的方法除了引言中介绍的一些方法外还增加了多尺度结构相似度(Multi Scale Structure Similarity，MSSIM)、信息评价(Information Fidelity Criterion，IFC)和视觉信息评价(Visual Information Fidelity，VIF)3个主流方法。实验结果数据说明，针对复杂的实际应用场景，当图像面临不同的干扰因素而表现出不同的失真类型时，现有客观方法的评价性能将会出现非常明显的退化。其中，SSIM方法的3项评价指标水平在JPEG失真类型上退化明显(RMSE=6.749 3，PLCC=0.960 5，SROCC=0.961 0)，MSSIM方法的RMSE和PLCC两项评价指标水平在JPEG2000、JPEG和fastfading 3种失真类型上均出现明显下降(RMSE=6.010 5，PLCC=0.958 1)，IFC方法的RMSE评价指标水平在JPEG2000和JPEG两种失真类型上出现明显下降(RMSE=6.316 7)，VIF方法的3项评价指标水平在gblur失真类型上均出现严重下降(RMSE=8.252 7，PLCC=0.925 2，SROCC=0.900 3)，GSM方法的RMSE和PLCC两项评价指标水平在JPEG、gblur和fastfading 3种失真类型上均出现明显下降(RMSE=6.844 1，PLCC=0.959 4)，FSIM方法的RMSE和PLCC两项评价指标水平在JPEG2000、JPEG和fastfading 3种失真类型上均出现明显下降(RMSE=7.122 9，PLCC=0.955 9)，VSI方法的RMSE和PLCC两项评价指标水平在JPEG2000、JPEG、gblur和fastfading 4种失真类型上均出现明显下降(RMSE=7.059 6，PLCC=0.947 6)。

    相对上述方法的不足，本研究所提VSSE方法的优势非常明显，针对JPEG2000、JPEG、WN、gblur和fastfading 5种不同的失真类型，VSSE方法的3项评价指标均保持了较高的水平（RMSE≤6.0，PLCC≥0.962 0，SROCC≥0.960 9）。表1中数据还说明，当图像的失真机理很难明确或者存在较多的综合失真因素时，即针对各种失真类型的总体ALL评价上，SSIM、MSSIM、VIF、GSM、FSIM和VSI方法的3项评价指标水平均有非常严重的退化（RMSE≥7.276 2，PLCC≤0.949 2，SROCC≤0.960 9），而IFC方法也仅仅是对PLCC一个指标水平取得了提高（PLCC=0.964 3），但是RMSE和SROCC两个指标水平仍然不高（RMSE=6.122 1，SROCC=0.949 2)。相对上述方法的不足，本研究所提VSSE方法的3项评价指标水平均取得了明显的优势（RMSE=5.760 1，PLCC=0.968 5，SROCC=0.963 0），其中，RMSE指标水平相对最优IFC方法提高了6个百分点，PLCC和SROCC两项指标也分别优于其他的最优方法。综上，针对实际应用场景，其他方法客观评价性能均出现了非常明显的退化，但是所提VSSE方法却具有较好的性能，评价结果更接近人眼的主观判断。图3是SSIM、MSSIM、VSI、FSIM、IFC、VIF、GSM和所提VSSE方法的主、客观评价结果散点分布图，对比说明所提VSSE方法的主、客观评价结果具有最好的线性度和区分度。

3 结论

    本文充分将人眼视觉系统的多种显著感知特性融入图像特征处理、图像特征评价和图像评价融合的多个环节，并基于视觉特性和图像失真度将各层特征评价逐步进行深度自适应融合。实验结果表明，所提方法提高了现有方法在实际应用场景下的评价性能。下一步研究将结合人类视觉系统和人工智能理论探讨图像质量客观评价算法的评价融合策略。

参考文献

[1] 李先友，赵曙光，段永成，等.基于FPGA的实时MIPI CSI-2图像采集与处理系统[J].电子技术应用，2019，45(1)：97-100.

[2] 吴晓元，常海涛，苟军年.Faster R-CNN定位后的工业CT图像缺陷分割算法研究[J].电子技术应用，2019，45(1)：76-80.

[3] 陈文艺，张龙，杨辉.HDR图像色调映射的自适应色彩调节算法[J].电子技术应用，2018，44(11)：107-110.

[4] ZHANG Y C，KING N N，MA L，et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing，2017，26(11)：5980-5993.

[5] WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4)：600-612.

[6] GUO L，CHEN W L，LIAO Y，et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering，2014，40(4)：1101-1110.

[7] LIU A，LIN W，NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing，2012，21(4)：1500-1512.

[8] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing，2011，20(8)：2378-2386.

[9] ZHANG L，SHEN Y，LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing，2014，23(10)：4270-4281.

[10] 丰明坤，王中鹏，叶绿.视觉稀疏化多通道多特征自适应的图像评价[J].仪器仪表学报，2016，37(3)：667-674.

[11] 丰明坤，赵生妹，邢超.基于视觉显著失真度的图像质量自适应评价方法[J].电子与信息学报，2015，37(9)：2062-2068.

[12] 丰明坤，赵生妹，施祥.视觉多通道梯度与低阶矩自适应图像评价[J].仪器仪表学报，2015，36(11)：2531-2537.

[13] 林志洁，丰明坤.深度视觉特征与策略互补融合的图像质量评价[J].模式识别与人工智能，2017，30(8)：682-691.

[14] XUE W F，ZHANG L，MOU X Q，et al.Gradient magnitude similarity deviation：s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing，2014，23(2)：684-695.

[15] ZHANG X D，FENG X C，WANG W W，et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters，2013，20(4)：319-322.

[16] WANG T H，JIA H Z，SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University，2018，48(2)：276-281.

作者信息:

王赛娇1，2

(1.台州广播电视大学，浙江 台州318000；2.杭州电子科技大学 计算机学院，浙江 杭州310018)