《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 结合分块模糊熵和随机森林的图像分类方法
结合分块模糊熵和随机森林的图像分类方法
2017年电子技术应用第7期
肖玉玲1,仵 征1,朱 煜2
1.河南应用技术职业学院 建筑工程学院,河南 郑州450042;2.华东理工大学 信息科学与工程学院,上海210040
摘要: 为提高图像分类性能,提出了一种图像分类方法。其基本思想是将图像内容的不确定性描述看作是一个随机过程,采用分块模糊熵来提取图像特征,采用随机森林方法进行特征分类。首先,考虑全局和局部特性,将图像划分为多个图像子块;然后,对每一个图像子块进行模糊c均值聚类,提取模糊熵特征;接着,通过归一化处理,得到图像的模糊熵特征向量;最后,构造随机森林分类器,实现模糊熵特征向量的分类。实验结果表明,该方法的错分率低,分类耗时少。
中图分类号: TP391
文献标识码: A
DOI:10.16157/j.issn.0258-7998.2017.07.031
中文引用格式: 肖玉玲,仵征,朱煜. 结合分块模糊熵和随机森林的图像分类方法[J].电子技术应用,2017,43(7):122-126.
英文引用格式: Xiao Yuling,Wu Zheng,Zhu Yu. An image classification method combing with blocked fuzzy entropy and random forest[J].Application of Electronic Technique,2017,43(7):122-126.
An image classification method combing with blocked fuzzy entropy and random forest
Xiao Yuling1,Wu Zheng1,Zhu Yu2
1.School of Architectural Engineering,Henan Vocational College of Applied Technology,Zhengzhou 450042,China; 2.School of Information Science and Engineering,East China University of Science and Technology,Shanghai 210040,China
Abstract: To improve the performance of image classification, a new image classification method is proposed. The basic idea is:by considering the uncertainty of the content of the image as a stochastic process, blocked fuzzy entropy is used to extract image features, and random forest method is used to execute feature classification. First, it divides an image into multiple image blocks by considering the global and local properties of the image. Then, it executes fuzzy c-means clustering on each image blocks, and extracts fuzzy entropy features. And then, it obtains a fuzzy entropy feature vector of an image after feature normalization. Finally, a classifier of random forest is built, and feature classification is realized for fuzzy entropy feature vectors. Experimental results show that the method has low error-classification rate, and less time-consuming of classification.
Key words : image classification;fuzzy entropy;random forest;fuzzy c-means;image blocks

0 引言

    图像分类是计算机视觉领域的基础研究课题之一,在自动化、人工智能等领域应用广泛[1-3]。图像分类的关键是提取具有显著性和稳健性的图像特征,近些年在图像分类领域涌现出了很多有意义的图像描述方法[4-6]。其中,灰度共现矩阵(Gray-Level Co-occurrence Matrices,GLCMs)是经典的图像描述方法,通过量化相邻像素点之间的空间灰度分布来有效表征图像的纹理特性,实现不同纹理图像的分类[7-9]。在此基础上,文献[10]依据自然图像视为不确定性,提出了一种模糊晕矩阵(Fuzzy Aura Matrices,FAMs)的概念,描述图像中各邻居像素的空间相关属性。文献[11]提出了一种稀疏分布的局部梯度融合特征(Sparse Distributed Localized Gradient Fused Features,SDLGFFs),提取图像的局部梯度特征,并融合构建多稀疏分布特征。文献[12]提出了一种近似Fisher核(Approximate Fisher Kernels,AFKs)特征,对词袋(Bag-of-Words,BoWs)模型进行扩展,提取图像局部特征描述子,实现不同图像的分类。为进一步提高图像分类性能,本文提出一种结合分块模糊熵随机森林的图像分类方法,思路是将图像内容的不确定性看作一个随机过程,采用分块模糊熵特征来描述图像,并结合随机森林学习方法实现特征的训练与分类,完成图像分类目标。

1 本文方法

    本文方法的实现流程如图1所示。首先,将图像划分为多个图像子块;然后,对每一个图像子块进行模糊c均值聚类,提取模糊熵特征;接着,通过归一化处理,得到图像的模糊熵特征向量;最后,构造随机森林分类器,实现模糊熵特征向量的分类。

jsj2-t1.gif

1.1 图像分块

    考虑到图像光照不均匀或者不同区域图像纹理差异大的因素,将输入的图像划分为多个图像子块,先将整幅图像作为图像子块b1,用于表征图像的整体特性。然后,将图像分别在水平和垂直方向上进行二等分,得到4个互不重叠的图像子块,分别记为b2~b5。接着,对图像子块b2~b5再在水平和垂直方向上分别进行二等分,得到16个图像子块,记为b6~b21。最后,对这16个图像子块再进行水平和垂直方向上的二等分,得到64个图像子块,记为b22~b85。这样,一幅图像共分为85个图像子块,在这些图像子块上提取特征,不仅可以描述图像的全局属性,还可以描述图像在不同区块的局部属性。具体的特征提取方法将在下一节详述。

1.2 模糊c均值聚类

    对于每一个图像子块X,本文拟提取其模糊熵特征,作为图像子块的特征表述。而理论上,如果图像未被噪声污染,图像本身并不具有随机性,不易采用模糊熵进行描述。但是,对实际图像而言,其空间信息或者外观属性都存在一些内在的不确定性。当用图像的直方图作为一个概率密度函数来描述图像中某一灰度级出现的可能性时,可以将图像看作是一个随机过程。在许多图像中,表示不同物体的像素可能存在相似的灰度值。换言之,图像目标的描述是模糊和不确定的。按照上述分析,由于无法精确描述图像的内容,因此图像存在不确定性。这一不确定性可以采用不同图像内容块的模糊熵来描述,为此需要先对图像空间进行分割,划分出不同的图像内容块。本文采用模糊c均值聚类算法[13]来进行图像分割,描述如下。

jsj2-t1-x1.gif

jsj2-gs1.gif

    该目标函数JF(U,V)可以看作是一个均方误差聚类准则,可以通过迭代更新U和V来实现目标函数的最小化,更新方程为:

     jsj2-gs2.gif

    因此,给定c个模糊聚类中心,可以将图像中的所有像素聚类到c个类中。换言之,模糊聚类分析可以依据模糊类的不精确信息构造图像的不确定模型。

1.3 模糊熵提取

    对于c个模糊聚类构成的模糊集合A,依据香农熵函数,在第i个模糊聚类中心上,对应的模糊熵可以表示为:

jsj2-gs3-6.gif

    其特征提取过程的伪代码如下:

    (1)初始化D0=0,m=1;

    (2)选定模糊聚类类别数c,进行模糊c均值聚类;

    (3)while(1)

    (4) Do 

jsj2-1.4-s1.gif

1.4 模糊熵归一化

    当如图2所示的85个图像子块的模糊熵都提取完毕之后,需要将模糊熵进行归一化处理,用于消除不同尺寸的图像所求的模糊熵的尺度差异。

首先,计算所有模糊熵中值最大的熵,表示为:

jsj2-gs7-9.gif

1.5 随机森林分类

    得到图像的模糊熵特征向量之后,需要对特征进行分类,以确定图像的类别。考虑到图像的类别一般都不少于两个,本文采用随机森林作为多类分类器,进行图像模糊熵特征向量的分类。

    随机森林由多个决策树构成,可以看作是多个决策树构建的集成学习方法。在决策过程中,各个决策树都会对输入向量的预测结果进行投票,然后取平均投票结果作为最终的预测结果。由于森林中的各个决策树之间相互独立,各决策树可以独立进行学习和分类,因此随机森林学习方法的效率很高[14-15]

    随机森林中各个决策树的基本分类单元是决策节点,决策树上的每一个决策节点都对应一个决策函数,决策函数对到达该决策节点的特征向量Y进行判决,判断是将其划分到该决策节点的左子树还是右子树。依此类推,直至到达决策树的叶节点。具体地,对于决策树中的第n个决策节点,对应的决策函数记为fn,该决策函数为二元函数,可以表示为:

     jsj2-gs10.gif

jsj2-gs11-13.gif

其中,C为目标的类别数。

    在训练过程中,对于训练数据集中各个图像的模糊熵特征向量,训练一个随机森林分类器。该训练过程是一个迭代过程,其终止条件是:到达节点的训练样本数量小于设定阈值NS。此时,该节点为叶节点,不再划分左子树和右子树。叶节点具有预测功能,可以实现数据的分类。在本文中,NS取值为10。

jsj2-gs14.gif

2 仿真实验

2.1 实验说明

    为评价本文方法性能,将本文方法(Blocked Fuzzy Entropy and Random Forest,BFEaRF)与近些年图像分类领域常用的3种方法(FAMs[10]、SDLGFFs[11]、AFKs[12])进行对比实验,定量评价本文方法相对于其他3种方法的性能。

    实验数据集选用国际上通用的COIL-100和PVOC-2007两个数据集,简要说明见表1。

jsj2-b1.gif

    本文在进行仿真实验时,采用4种方法分别进行训练和测试,每一种方法都分别在COIL-100和PVOC-2007两个数据集上单独进行训练和测试。

    图像分类的性能评价指标有两个:错分率、分类耗时。前者用于评价图像分类算法的分类结果,后者用于评价图像分类算法的分类效率。

    记RE为错分率,定义为:

    jsj2-gs15.gif

    分类耗时是指从输入一幅图像开始到输出图像类别为止所耗费的时间。本文统计的是每一个数据集上所有测试图像的分类耗时的平均值。其中,考虑到算法运算效率与计算机平台有关,故本文实验所对比的4种方法都是在相同的计算机平台上进行的,计算机平台性能为:四核3.2 GHz CPU;16 GB RAM。

2.2 参数优选

    本文方法未赋值参数有两个:模糊类别数c和模糊权重q。这两个参数针对不同应用(如图像分割和图像分类)的取值差异较大,本文针对图像分类的实验结果选取最优参数。图2给出了参数c不同时本文方法在COIL-100数据集下的错分率指标,其中q=3。由图2可见,当模糊类别数c=4时对应的错分率最小。故本文取c=4。

jsj2-t2.gif

    图3给出了参数q不同时本文方法在COIL-100数据集下的错分率指标,其中c=4。可见,当q=3时对应的错分率最小,故本文取q=3。

jsj2-t3.gif

2.3 性能对比

    图4给出了4种方法在两个数据集下的错分率对比结果。由图4可见,本文方法在两个数据集下的错分率指标都是4种方法中最低的。这说明,采用本文方法进行图像分类时错分的图像数量少。

jsj2-t4.gif

    表2给出了4种方法在两个数据集下的分类耗时对比结果。可见,本文方法的分类耗时指标略高于文献[10]所述方法,但低于其他两种方法。由图4可见,本文方法的错分率指标与文献[10]所述方法相比优势明显。综合考虑分类耗时和错分率两个指标来看,本文方法的图像分类性能优于其他3种方法。

jsj2-b2.gif

3 结束语

    本文提出了一种结合分块模糊熵和随机森林的图像分类方法,目标是提高图像分类性能。设计思想是:以图像内容的不确定性描述为研究对象,采用分块模糊熵表征图像全局和局部的不确定内容特征,再结合随机森林学习方法构建多类目标分类器,实现不同图像类别的分类。通过在国际上公开的两个数据集(COIL-100和PVOC-2007)上进行仿真实验。结果表明,采用本文方法进行图像分类可以降低图像分类过程的错分率,同时分类耗时较少,是一种有效的图像分类方法。

参考文献

[1] HUANG M,MU Z,ZENG H.Efficient image classification via sparse coding spatial pyramid matching representation of SIFT-WCS-LTP feature[J].Iet Image Processing,2016,10(1):61-67.

[2] 张晶,冯林,王乐,等.MapReduce框架下的实时大数据图像分类[J].计算机辅助设计与图形学学报,2014,26(8):1263-1271.

[3] CHEN H,LIU G,ZHANG L.Semi-supervised image classification based on sparse coding spatial pyramid matching[C].International Conference on Internet Multimedia Computing & Service.ACM,2013:273-276.

[4] NI H,GUO Z,HUANG B.Patent image classification using local-constrained linear coding and spatial pyramid matching[C].International Conference on Service Science.IEEE,2015:28-31.

[5] 吕启,窦勇,牛新,等.基于DBN模型的遥感图像分类[J].计算机研究与发展,2014,51(9):1911-1918.

[6] 赵仲秋,季海峰,高隽,等.基于稀疏编码多尺度空间潜在语义分析的图像分类[J].计算机学报,2014,37(6):1251-1260.

[7] MANIVANNAN K,AGGARWAL P,DEVABHAKTUNI V,et al.Particulate matter characterization by gray level cooccurrence matrix based support vector machines[J].Journal of Hazardous Materials,2012,223-224(2):94-103.

[8] WALAA.Content based medical image retrieval with texture content using gray level co-occurrence Matrix and K-Means clustering algorithms[J].Journal of Computer Science,2012,8(7):1070-1076.

[9] HU S,XU C,GUAN W,et al.Texture feature extraction based on wavelet transform and gray-level co-occurrence matrices applied to osteosarcoma diagnosis[J].Bio-Medical Materials and Engineering,2014,24(1):129-143.

[10] HAMMOUCHE K,LOSSON O,MACAIRE L.Fuzzy aura matrices for texture classification[J].Pattern Recognition,2015,53(c):212-228.

[11] SUDHAKARAN S,JAMES A P.Sparse distributed localized gradient fused features of objects[J].Pattern Recognition,2014,48(4):1538-1546.

[12] CINBIS R G,VERBEEK J,SCHMID C.Approximate Fisher Kernels of non-iid image models for image categorization[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,38(6):1084-1098.

[13] HAVENS T C,BEZDEK J C,LECKIE C,et al.Fuzzy c-Means algorithms for very large data[J].IEEE Transactions on Fuzzy Systems,2012,20(6):1130-1146.

[14] VENS C.Random forest[J].Encyclopedia of Systems Biology,2013,45(1):157-175.

[15] TOUW W G,BAYJANOV J R,OVERMARS L,et al.Data mining in the life sciences with random forest:a walk in the park or lost in the jungle?[J].Briefings in Bioinformatics,2012,14(3):315-326.



作者信息:

肖玉玲1,仵  征1,朱  煜2

(1.河南应用技术职业学院 建筑工程学院,河南 郑州450042;2.华东理工大学 信息科学与工程学院,上海210040)

此内容为AET网站原创,未经授权禁止转载。