《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 端对端深度学习无损去图像散射研究
端对端深度学习无损去图像散射研究
2020年信息技术与网络安全第9期
漆建军
广东外语外贸大学 信息科学技术学院,广东 广州510006
摘要: 针对光线通过介质会产生散射现象,提出了一种基于神经网络的端对端图像去散射方案,对于散射退化的图片进行退散射的处理,此方案不需要复杂的光学设备,应用场景广泛,在仿真和实际实验中都取得了预期的结果。提出了一套利用拍摄屏幕来建立散射退化图片和无散射图片的数据集的方法,且这一方法在许多其他的图像处理图像恢复工作中有应用价值。
中图分类号: TP751
文献标识码: A
DOI: 10.19358/j.issn.2096-5133.2020.09.010
引用格式: 漆建军. 端对端深度学习无损去图像散射研究[J].信息技术与网络安全,2020,39(9):49-55.
End-to-end deep learning based non-invasive image descattering
Qi Jianjun
School of Information Science and Technology,Guangdong University Forien Studies,Guangzhou 510006,China
Abstract: The image quality will decay when light goes through the scattering media or reflect on the rough surface. In this paper, we purpose an end-to-end deep learning descattering method. This method does not need complex optical device and perform very well in complex scene. This method has a state-of-art performance in both the simulation dataset and real experiment dataset. In this paper, we also creatively put forward a pipeline to collect the hazing and ground truth dataset by capturing the screen, which can also be used in many other field.
Key words : descattering;deep learning;end to end;image reconstruction

0 引言

    在采集自然界图片的时候经常会遇见散射造成的图像损失,对于散射有很多情况,比如:当光线经过细小不规则分布的颗粒组成的介质的时候,光子与细小颗粒发生碰撞,造成行进的线路发生改变,产生散射,最后到达传感器平面的时候不同线路延时的光子叠加,会造成图像模糊,造成对比度与清晰度下降的现象;光照射在粗糙的物体表面,发生了漫反射,反射的图像会有类似散斑的现象,这样的衰减图片对于自动驾驶、计算机视觉、医学成像都有非常不利的影响[1]。为了恢复图像,POPOFF S M等利用测定传输矩阵解卷[2]和生成共轭波前补偿,但是测量传输矩阵需要费时的测量,硬件相对复杂,使用环境相对单一,而且只能在照明光具有一定相干性的前提下进行[3]。为此,特提出一种使用深度学习的方法,通过学习大量散射图与无散射图对比,让网络学习到散射图和无散射图之间的映射关系,避免了费时的传输矩阵测量。并且这样的方法不需要对于样本进行染色或者标记,不会对样本产生破坏[4]。为此,将传统的双层卷积结构进行改进,采用了dense结构的Unet网络,不管是在去散射的指标效果还是视觉效果上都有比较大的提升。因为深度学习需要大量的训练数据,训练数据的好坏对于学习结果起到至关重要的作用,还提出了一套通过拍摄屏幕的方法来搜集数据集的方法,主要创新有如下几点。

    (1)提出了一套相机拍摄屏幕创建深度学习训练数据的流程,包含屏幕相机校准和图像匹配的方法,此方法也可以广泛用于其他图像处理和图像恢复的任务。

    (2)提出了一种基于深度学习的端对端去散射网络,相比于传统测定传输矩阵的方法更加省时省力,且对于成像的样本没有损害,不需要染色或者其他标记。

    (3)使用环境相对广泛,采集装置相对简单,仅仅使用普通手机就可以进行采集,且对于照明光源没有太多要求。

    (4)改进了像素到像素图像恢复双层卷积的Unet结构,采用了dense的连接结构,使网络具有更好的恢复图像性能。




本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003096




作者信息:

漆建军

(广东外语外贸大学 信息科学技术学院,广东 广州510006)

此内容为AET网站原创,未经授权禁止转载。