《电子技术应用》

基于视觉显著性的LED晶圆自动提取系统

2017年电子技术应用第12期
王想实1,王 棋2
(1.无锡职业技术学院 物联网技术学院,江苏 无锡214121;2.深圳市艾特智能科技有限公司,广东 深圳518007)
摘要: 晶圆目标提取是晶粒计数系统的重要处理环节,是确保晶粒计数准确度的前提条件。目前主要应用阈值化方法将晶圆目标从背景中提取出来,由于离型纸固有因素影响,造成成像灰度不均匀,严重影响晶圆目标范围的有效识别。系统通过对光源的闭环控制,取得合适亮度的晶圆图像后,在Harris轮廓点的外围区域确定边界,通过内部区域对边界的连接度来检测区域中的晶圆视觉显著性目标。试验证明,该系统能精确地在离型纸背景上有效提取晶圆目标。

LED wafer automatic extraction system based on visual saliency

Wang Xiangshi1,Wang Qi2
(1.Wuxi Technology Institute,Wuxi 214121,China; 2.Shenzhen Aite Intelligent Technology Company Limited,Shenzhen 518007,China)
Abstract: LED wafer target detection is an important part of the grain counting system, and it is a prerequisite for ensuring the accuracy of grain counting. The threshold method is applied to extract the wafer target from the background of the release paper at present. Due to the inherent factors of the release paper, the gray scale of the imaging is not uniform,which seriously affected the recognition of the wafer target range.The system can obtain the appropriate brightness of the wafer image through the control mode of the closed-loop light source.The visual saliency of the wafer target in the internal area is further detected by the connection degree of the inner region to the boundary based on the boundary of the peripheral area of the Harris contour point. The experiments show that the system can obtain clean and uniform saliency maps of the wafers from the background of the release paper.

王想实1,王  棋2

(1.无锡职业技术学院 物联网技术学院,江苏 无锡214121;2.深圳市艾特智能科技有限公司,广东 深圳518007)


    中图分类号: TP391.41

    文献标识码: A

    DOI:10.16157/j.issn.0258-7998.171157


    中文引用格式: 王想实,王棋. 基于视觉显著性的LED晶圆自动提取系统[J].电子技术应用,2017,43(12):113-115,119.

    英文引用格式: Wang Xiangshi,Wang Qi. LED wafer automatic extraction system based on visual saliency[J].Application of Electronic Technique,2017,43(12):113-115,119.

0 引言

    目前LED外延片生产过程中,由于生产工艺本身原因,导致LED晶粒存在诸多缺陷,如缺角、划痕、电极污染等,在测试中分选机无法通过电特性对晶粒进行剔除,只能通过人工剔除有缺陷的晶粒,如此导致晶粒数量处于未知状态,也就是无法确切知道晶粒数量,首先需要通过晶圆提取系统来有效统计计算晶粒范围。

    通常晶圆贴在蓝膜或者白膜上,然后再贴在黄色离型纸上,LED计数仪通过背光照射晶圆,由于黄色离型纸为非均匀材质,导致成像灰度不均匀,晶圆以外的地方容易造成误识别,所以需要解决精确提取晶圆问题。

    目前LED晶圆提取系统一般采用降低分辨率,设定一个统一阈值,将晶圆范围从离型纸背景中分割出来。这类方法存在其局限性,统一的阈值对非均匀亮度图像存在极大的误差,漏识别或者多识别的概率偏高,对晶圆边缘的提取精度较低[1],仅为98.47%。由此设计一种基于视觉显著性的晶圆范围提取系统,有效解决了精准自动提取晶圆范围问题。应用边界连接度优先的算法,将晶圆从背景中有效提取出来。主要依据晶圆图像目标居中,且目标基本不与边界相接触的特点,与边界大面积接触的则属于背景区,可以直接将图像边缘信息当作背景来处理,通过像素与边界点的连接度来识别图像空间布局,精确提取晶圆的边缘。整个系统由晶圆图像采集模块、晶圆目标提取模块两部分构成,如图1所示。

jsj2-t1.gif

1 晶圆采集模块

    晶圆采集模块主要通过调整光源亮度,并通过评价图像亮度函数计算出控制量,反馈给光源控制器,对光源进行闭环控制,确保得到适合系统亮度的晶圆图像。相机驱动模块主要负责相机与计算机的通信,将图像数据放入计算机内存,供后续图像处理使用。

2 晶圆目标提取模块

    一般在实际应用中,对晶圆非均匀亮度图像目标提取主要采用阈值化方法,LI C M等人的LBF(Local Binary Fitting)模型[2]中最大的特点是利用高斯函数取得图像的局部灰度信息,图像虽然在整体上存在灰度不均匀,但是在局部,灰度可以近似地认为不存在偏差场。LBF模型引入了惩罚项,因此无须再重新初始化,但是其最大的缺点是计算量大、演化收敛缓慢、效率低下。在LBF模型和高斯函数规则符号距离函数的基础上,由ZHANG K H等人提出LIF(Local Image Fiting)模型[3],LIF模型修改了活动轮廓模型的能量函数,并将LBF模型中用高斯函数求零水平集曲线内外局部灰度高斯加权均值改为直接求曲线内外灰度均值,效率相比LBF模型有所提高,但其效率仍然无法满足本系统小于1 s的计数速度,且对初始轮廓敏感,对非高斯噪声图区并不理想,基于阈值的晶圆目标提取在速度以及精准度方面都存在不足。

    通过分析整个晶圆采集图像具有背景单一、目标集中的基本构图特征[4-6],将晶圆图像分为边界、背景和目标区域三部分。目标区域一般位于图像的视角聚焦的中心位置,目标完全不与边界相接触,直接采用边界优先策略,将图像边缘当作背景来处理,通过区域间特征线索的关联度来判断区域与边界的连接度,识别出目标或背景区域。

    这里关键是首先要确定边界区域,然后通过特征线索按照边界优先的原则来划分背景和目标区域。ZHU W在文献[7]中只简单将图像4个边缘定量的行列区域人为划分为边界区域。当目标与边界有接触或接近边界区域时,存在将目标误判为边界区域的概率,直接影响到后续对背景与目标的准确划分。

    这里采用VAN DE WEIJER J文献[8]中的Harris检测算法,检测图像中晶圆目标的角点与轮廓角点,晶圆目标包含在一个凸多边形内,整个晶圆图像被划分为包含目标对象的内部区域和外部区域,角点检测结果如图2所示,整个晶圆目标包含在角点所包络的区域中。

jsj2-t2.gif

    整个边界区域则在外部区域中划分,以角点到边缘的平均垂直距离为基准值为宽度,来划分4个方向上的边界区域,作为后续背景和目标分割的基础,避免误将目标盲目划分为边界区域。

2.1 边界连接度优先晶圆显著性算法

    依据晶圆图像目标居中,与边界大面积接触的则是背景区域的特点,通过边界连接度来表示这一特性,依据这一特性来识别晶圆目标。这里定义像素区域的边界连接度为该点的边界外围长度与其总长度的比率,具体计算如下:

jsj2-gs1-2.gif

2.2 晶圆目标显著性提取

    在充分考虑晶圆图像空间布局基础上,这里同时应用图像空间上的特征,将颜色与空间信息同时融合来提取晶圆显著性目标,目标显著性定义为:

jsj2-gs3-4.gif

    依据式(3),晶粒区域从背景区域中接收到较大的值jsj2-gs3-4-x1.gif对比度加强;与此相反,背景区域从目标区域中接收小的值jsj2-gs3-4-x2.gif对比度降低。这种非对称的行为加强了目标与背景区域的对比度。整个算法流程如图3所示。

jsj2-t3.gif

    在晶圆目标提取中,为避免大规模数值计算,提高显著性检测的速度,满足实时性的要求,将计算处理的基本图像单元分割为不同的块[9-10]。使用SLIC[10]方法将图像抽象为一组大致固定的超像素点,超像素保存了局部结构的同时减少了不必要的细节信息,利用文献[11]算法来计算超像素结点构成的稀疏图中任意两点间的最短距离,仅需要0.047 s,时间复杂度只有O(n)。超像素划分结果如图4所示。通过计算超像素点的显著性来提取晶圆目标。

jsj2-t4.gif

3 试验结果分析

    通过对分辨率为4 000×3 000的彩色晶圆图像、运用边界连接度优先的目标提取算法进行实验。其实验环境为IntelCore i3-3240 3.40 GHz,RAM 8 GB,VC2010。实验中,在对图像归一化[0,1]基础上,将边界区域中前50行、值低于0.57的像素划分为边界点。超像素点设置为200个,对原始晶圆图4(a)进行目标提取,结果如图5(b)所示。图5(a)中是LIF阈值二值化提取结果,受识别背景区域的噪音干扰,严重降低了目标提取的精确度。

jsj2-t5.gif

    为客观验证评价晶圆目标提取的有效性,通过查准率-查全率曲线PR来定量分析,其中查准率表示像素被正确标注为显著性像素的比率,而查全率表示像素被标注为显著性像素与实际显著性像素的比率。其实验数据集来自应用最广泛的基准数据集ASD[10],相应的显著性目标检测结果如图6所示,可检测到较清晰的显著性目标。相应的查准率-查全率PR曲线如图7所示,相比较当前广泛应用的阈值化中LIF检测算法,其查准率有明显的提高,同时整个晶圆目标提取的时间控制在0.26 s内,目标提取效率较高。

jsj2-t6.gif

jsj2-t7.gif

4 结论

    本文利用机器视觉中的边界优先提取显著性目标算法设计晶圆目标提取系统。采用反馈式光源采集系统,在此基础上,得到有利于该算法实施的亮度一致的图像,可完整识别出整个晶粒包络的区域,同时可有效排除识别区外的噪音干扰,满足了系统对精度速度的要求。

参考文献

[1] 钟鑫.LED芯片检测算法研究及实现[D].北京:北京交通大学,2007.

[2] LI C M,KAO C Y,GORE J C,et al.Minimization of region-scalable fitting energy for image segmentation[J].IEEE Transactions on Image Processing,2008,17(10):1940-1949.

[3] ZHANG K H,SONG H H,ZHANG L.Active contours driven by local image fitting energy[J].Pattern Recog-Gnition,2010,43(4):1199-1206.

[4] 张文康,朱倩,陈潇君.拟人视觉系统的显著性检测方法[J].电子技术应用,2016,42(11):122-125.

[5] 吴晓.一种LED芯片椭圆定位方法[J].红外与激光工程,2013(S1):98-102.

[6] CHENG M M,WARRELL J,LIN W Y,et al.Efficient salient region detection with soft image abstraction[C].In ICCV,2013.

[7] ZHU W,LIANG S,WEI Y,et al.Saliency optimization from robust background delection IEEE delection[C].IEEE Conference on Computer Vision & Pattern Recognition,2014:2814-2821.

[8] VAN DE WEIJER J,GEVER T,BAGDANOV A D.Boosting color saliency in image feature detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(1):150-156.

[9] ACHANTA R,SHAJI A,SMITH K,et al.Slic superpixels compared to atate-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysys and Machine Intelligence,2012,34(11):2273-2282.

[10] ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection[C].In CVPR,2009.

[11] JOHNSON D B.Efficient algorithms for shortest paths in sparse networks[J].ACM,1977,24(1):1-13.

继续阅读>>