Faster R-CNN定位后的工业CT图像缺陷分割算法研究-AET-电子技术应用

Faster R-CNN定位后的工业CT图像缺陷分割算法研究

2019年电子技术应用第1期

吴晓元1，常海涛1，苟军年1，2

1.兰州交通大学自动化与电气工程学院，甘肃兰州730070； 2.兰州交通大学光电技术与智能控制教育部重点实验室，甘肃兰州730070

摘要： 由Faster R-CNN定位的缺陷区域内存在弱边缘，若直接采用常规分割算法对该小区域进行处理，会出现严重的过分割或欠分割现象。在此研究了一种针对Faster R-CNN定位后的工件缺陷的精确阈值分割法。在利用形态学开闭重建算法对定位区域进行重建，并对重建后的图像用Otsu双阈值法做变换处理的基础上，进一步利用最大熵阈值分割法对变换后的图像进行分割，最终对分割出的缺陷进行面积、周长等参数的测量。实验结果表明，所研究算法较常规的算法对工件的缺陷（裂纹、气泡和夹渣）有更好的分割能力。该算法不仅可以准确地分割出包含弱边缘的目标，还可以有效排除轮廓背景对分割的干扰。

关键词： FasterR-CNN 缺陷分割形态学开闭重建算法 Otsu双阈值法最大熵阈值分割法

中图分类号： TP391
文献标识码： A
DOI：10.16157/j.issn.0258-7998.181959
中文引用格式： 吴晓元，常海涛，苟军年. Faster R-CNN定位后的工业CT图像缺陷分割算法研究[J].电子技术应用，2019，45(1)：76-80.
英文引用格式： Wu Xiaoyuan，Chang Haitao，Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique，2019，45(1)：76-80.

Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning

Wu Xiaoyuan1，Chang Haitao1，Gou Junnian1，2

1.School of Automation and Electrical Engineering，Lanzhou Jiao-tong University，Lanzhou 730070，China； 2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education， Lanzhou Jiao-tong University，Lanzhou 730070，China

Abstract： The defect area located by Faster R-CNN has weak edges. The area would be over-segmented or under-segmented if conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for workpiece defects based on Faster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruction algorithm, processing the reconstructed image by Otsu′s dual threshold method, segmenting transformed images by maximum entropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects(crack, bubble and slag), compared to conventional algorithms. It not only can accurately segment objects with weak edges, but also can effectively remove the interference from the contour background to the segmentation.

Key words : Faster R-CNN；defect segmentation；morphological opening and closing reconstruction algorithm；Otsu′s dual threshold method；maximum entropy threshold segmentation method

0 引言

深度学习的兴起带动了卷积神经网络(CNN)的发展，如今一系列的CNN改进网络如雨后春笋般地出现，如当前兴盛的Faster R-CNN网络被广泛地应用于图像检测领域。Faster R-CNN用于目标定位时，定位出的区域内往往会出现目标边缘较为模糊的情况，其目标不是理想的阶跃型边缘，而是弱边缘^[1]。对于工件来说，缺陷只占图像很小的比例，尤其是气泡和夹渣，邻域间的灰度差异也不明显。针对这种情况，必须采用恰当的算法才能实现工件的精确分割。

阈值法因简单而被大量应用在图像分割领域。其中，应用最广泛的有最大熵阈值法和Otsu阈值法。

Pun最早将信息熵定义引用到图像分割领域，随后Kapur等提出了最大香农信息熵阈值法^[2]。文献[3]采用了最大熵阈值法及其改进算法进行图像的分割。

Otsu阈值法由于高效而被视为最佳的阈值选取法。如文献[4]采用了二维直方图Otsu法；文献[5]提出了三维直方图重建的Otsu阈值法。

近些年来，边缘检测法(如数学形态学)被广泛地应用于图像分割领域。文献[6]将数学形态学与Otsu分割算法结合，取得了比直接分割方法更好的效果。

因此，本文结合文献[6]的思想，提出了将形态学和上述两类阈值法相结合的方法。实验结果证明了本文算法对工件缺陷的弱边缘和小目标都能准确地分割出来，较直接分割法有更佳的效果。

1 图像分割理论的概述

1.1 形态学重建

图像形态学是在数学形态学的基础上发展而来的非线性图像处理方法，通过具有一定形态的结构元素对图像进行“探测”，从而得到物体更本质的形态，便于对图像进行分析和识别^[7]。

本文将形态学开闭重建算法用于图像滤波，其重建的流程如图1所示。

1.2 Otsu阈值分割

Otsu阈值法又叫最大类间差分法^[8]，该算法假设一幅图像由前景和背景组成，通过统计学的方法选取一个阈值，运用该阈值使得图像的前景和背景尽可能地分开。设一幅图像的灰度值是1～L，阈值t从1～L变化，其中使类间方差达到最大的t^*为最佳阈值。

当目标相对背景尺寸较小时，或图像中有多余两类目标时，可以推广为多个阈值的选取，从而实现图像的多阈值分割。

1.3 最大熵阈值分割

根据灰度级别，用阈值t把图像划分为背景和目标两类，求使背景熵与目标熵之和达到最大的最优阈值的方法就是最大熵阈值分割法^[8]。

设目标熵和背景熵分别为H_O(t)和H_B(t)，则熵函数定义为：

使式(1)取值达到最大的t^*就是最佳阈值。

2 算法流程及步骤

针对工件弱边缘和小目标缺陷在分割时易出现过分割或欠分割的现象，本文研究了一种精确分割的算法，具体流程如图2所示。

上述根据缺陷的类型进行分布操作，是因为夹渣和另两种缺陷的灰度分布相反。如果采用相同的操作，将不能实现正确的分割。

3 实验结果及分析

3.1 分割实验与结果

仿真实验是在MATLAB R2014a环境下编程完成的，分割结果如图3～图5所示。

图3是裂纹缺陷的分割图。其中，图3(a)为定位好的裂纹图像；图3(b)为裂纹区域的提取图像；图3(c)为对裂纹进行形态学重建后的结果；图3(d)为重建后的裂纹又进行Otsu双阈值变换后的图像；图3(e)为最终的分割结果；图3(f)是图3(e)的边界提取结果；图3(g)是裂纹区域的列灰度变化曲线图，反映了相邻两列的灰度差异。由该图可看出，列灰度曲线很平稳，即裂纹与周围背景没有明显的灰度差异。从图3(e)和图3(f)可看出，本文算法对灰度过渡不明显的裂纹实现了良好的分割。

图4是气泡缺陷的分割图。从图4(e)和图4(f)可看出，本文算法对弱小的气泡实现了精确的分割。

图5是夹渣缺陷的分割图。从图5(b)可以看出在提取出的夹渣区域1和2中，包含了一部分细长的黑色背景区域；同时夹渣2的右侧存在过渡区域。从图5(e)和图5(f)看出，采用本文的分割算法实现了夹渣1和2的良好分割。

上述结果和分析表明，本文算法有较好的泛化能力，不仅准确地分割了具有明显灰度对比度的气泡缺陷，而且对灰度对比差异不明显的裂纹缺陷或者是有过渡区域的夹渣缺陷，都实现了良好的分割。

3.2 对比实验

为了进一步验证本文所研究算法对缺陷分割的准确性，在此设计对比实验。对比实验采用最大熵阈值分割法和Otsu双阈值分割法。

3.2.1 分割结果的定性分析

将对比实验的结果与本文实验的结果进行比较和分析，如图6～图8所示。

对图6裂纹分割对比图进行分析，从图6(a)可以看出，对于灰度对比差异不明显的裂纹，最大熵阈值法和Otsu阈值法的分割结果均出现了严重的误分割现象，如图6(b)和图6(d)所示。而采用本文的算法能实现裂纹的精确分割，如图6(f)所示；同时，图6(g)表明，提取的边界与裂纹具有很高的吻合度。

对图7气泡分割对比图进行分析，为清晰地观察气泡的轮廓，对图7(a)进行预处理，即得到图4(b)，把它与图7(b)、图7(c)、图7(d)和图7(e)进行对比，表明最大熵阈值法和Otsu阈值法不能分割出气泡灰度极弱的边缘；而与图7(f)和图7(g)对比，可以看出本文算法很好地分割出了气泡的弱边缘，实现了精确的分割。

对图8夹渣分割对比图进行分析，图8(b)、图8(c)、图8(d)和图8(e)表明，最大熵阈值法和Otsu阈值分割法对夹渣1和2均产生了误分割现象，即将一部分与夹渣灰度相近的背景分割出来了；同时，对于夹渣2还存在过分割现象。而图8(f)和图8(g)表明了本文分割算法的正确性。

3.2.2 分割结果的定量分析

为了说明算法具有客观性和准确性，本文引入了分割精度、均方根误差和相关性系数三项指标^[9]对上面3种算法的结果分别进行量化评价。

分割精度的计算按照如下公式：

其中，SA表示分割精度，R_S为手动勾画出的分割图像的参考面积，T_S为分割结果的真实面积，|R_S-T_S|为错分割的像素点个数。

分割精度的值越大，分割结果越好；均方根误差(Root Mean Square Error，RMSE)的值越小，分割结果越接近于理想状态；相关性系数γ的值越大，分割结果与参考图像的相似度越高。

上述3种实验结果的评价见表1。由表1可知，对于灰度对比差异不明显的裂纹缺陷，最大熵阈值法和Otsu阈值法的分割结果都不是很好，尤其是Otsu阈值法的效果极差，而本文算法实现的结果较优；对于有明显灰度差异的气泡，本文算法较另外两种算法能很好地分割出边缘细节；对于含有过渡区域的夹渣缺陷，最大熵阈值法和Otsu阈值法的分割效果很接近，它们均不能很好地分割出目标，而本文算法具有较大的分割精度、较小的均方根误差和较高的相关性系数，因此实现了较好的分割效果。

3.3 缺陷的测量

缺陷分割的目的是对缺陷进行分析和测量，因此，深入地了解缺陷的形状、大小及空间位置是非常重要的。本文选取了面积、周长、面积周长比、长宽比（即最小外接矩形的长宽比）和缺陷面积与定位区域的比5个指标来测量缺陷，其中，面积和周长均用像素点的个数来计算，具体统计结果见表2。

由表2中缺陷面积与定位区域的比值可知，本文研究的工件缺陷都以小目标的形式存在，再结合表1中本文算法对应的各类缺陷评价指标的值，验证了本文算法对小目标缺陷分割的有效性。

4 结束语

本文在Faster R-CNN定位的基础上，针对大部分的工业工件存在缺陷，且许多以弱边缘或小面积的形式存在的现状，利用形态学重建、最大熵阈值法和Otsu双阈值分割法，提出了一种可实现工业CT图像缺陷精确分割的算法。该算法不存在误分割或过分割现象；同时，用对比实验从定性和定量的角度，分别验证了本文算法的优越性。本文算法具有较好的应用价值。

参考文献

[1] 冯小雨，梅卫，胡大帅.基于改进Faster R-CNN的空中目标检测[J].光学学报，2018，38（6）：0615004.

[2] 常海涛，苟军年，李晓梅.分形维-最大熵阈值的弱边缘工业CT图像分割算法[J].兰州交通大学学报，2018，37(1)：45-50.

[3] 李锋，阚建霞.基于Sobel算子的图像快速二维最大熵阈值分割算法[J].计算机科学，2015，42（6）：209-210.

[4] 龚劬，付云凤，叶剑英，等.基于二维直方图重建的Otsu图像分割算法[J].计算机科学，2013，40(8)：313-315.

[5] 申铉京，龙建武，陈海鹰，等.三维直方图重建和降维的Otsu阈值分割算法[J].电子学报，2011，39(5)：1108-1114.

[6] 朱言江，韩震，和思海，等.基于最大类间方差法与数学形态学的遥感图像潮沟提取方法[J].上海海洋大学学报，2017，26(1)：146-153.

[7] 邓仕超，黄寅.二值图像膨胀腐蚀的快速算法[J].计算机工程与应用，2017，53(5)：207-209.

[8] 胡学龙.数字图像处理[M].北京：电子工业出版社，2014.

[9] 周莉莉，姜枫.图像分割方法综述研究[J].计算机应用研究，2017，34(7)：1921-1928.

作者信息:

吴晓元1，常海涛1，苟军年1，2