《电子技术应用》
您所在的位置:首页 > 可编程逻辑 > 设计应用 > 基于FPGA的多源数据融合目标检测的研究与实现
基于FPGA的多源数据融合目标检测的研究与实现
电子技术应用
韩德强,闫钊,杨淇善
北京工业大学 计算机学院
摘要: 随着智能驾驶、机器人等技术的高速发展,在这些场景下常规的二维检测算法并不能满足环境感知的要求,需要三维目标检测去获得精准的环境信息。但是,目前大多主流的多源数据融合的三维目标检测模型都依赖于高算力、高功耗的平台,难以在性能较低的嵌入式平台实现。针对这些问题提出了一种在低功耗的FPGA平台上实现多源融合的三维目标检测的方法,通过融合激光雷达点云与摄像头图像数据,来弥补点云特征信息的不足,以实现更高的准确率和检测的稳定性。同时结合FPGA平台的特点,对融合的特征进行筛选及处理,并结合量化策略对模型进行压缩。经过实验,融合方式明显提升小物体的准确度,量化后的模型在三维检测平均精度损失小于3%的情况下在端侧FPGA平台成功运行。
中图分类号:TP183 文献标志码:A DOI: 10.16157/j.issn.0258-7998.256663
中文引用格式: 韩德强,闫钊,杨淇善. 基于FPGA的多源数据融合目标检测的研究与实现[J]. 电子技术应用,2025,51(11):17-24.
英文引用格式: Han Deqiang,Yan Zhao,Yang Qishan. Research and implementation of multi-source data fusion target detection based on FPGA[J]. Application of Electronic Technique,2025,51(11):17-24.
Research and implementation of multi-source data fusion target detection based on FPGA
Han Deqiang,Yan Zhao,Yang Qishan
School of Computer Science,Beijing University of Technology
Abstract: With the rapid development of technologies such as intelligent driving and robots, conventional 2D detection algorithms cannot meet the requirements of environmental perception in these scenarios, and 3D target detection is required to obtain accurate environmental information. However, the current mainstream 3D target detection models based on multi-source data fusion rely on high-computing and high-power platforms, and are difficult to implement on low-performance embedded platforms. In response to these problems, a method for implementing multi-source fusion 3D target detection on a low-power FPGA platform is proposed. By fusing the LiDAR point cloud and camera image data, the lack of point cloud feature information is compensated to achieve higher accuracy and detection stability. At the same time, combined with the characteristics of the FPGA platform, the fused features are screened and processed, and the model is compressed in combination with a quantization strategy. After experiments, the fusion method significantly improves the accuracy of small objects, and the quantized model runs successfully on the end-side FPGA platform with an average 3D accuracy loss of less than 3%.
Key words : LiDAR;3D object detection;FPGA;embedded;multi-sensor fusion

引言

随着人工智能技术的突飞猛进,人工智能相关的应用已经和人们的生活息息相关。机器人以及自动驾驶的相关应用和研究也越来越频繁地出现在公众视角之内。然而,随着应用场景日益复杂,人们需要更加优秀的环境感知算法。环境感知算法不仅直接影响着机器人和自动驾驶运行的性能,更是在复杂环境下作出正确决策的基础[1]。

感知算法的目的是从环境中获得物体的位置、类别和运动趋势等信息。与传统的二维感知算法相比,三维的环境感知算法能够更加准确地获得真实环境的信息,满足高精度检测的需求[2]。同时,随着各类算法的不断成熟与硬件性能的快速发展,多种传感器的协同工作已经成为研究者提升感知系统整体性能的一种重要手段[3]。基于摄像头的目标检测技术随着深度学习技术的发展和应用,在多数场景下取得了很理想的检测效果[4]。然而,基于摄像头的成像的原理,普通单目摄像头缺少对三维空间中深度信息的精确感知,使用深度相机或者采用多目相机的方式可以获得近距离精度较高的深度信息,但结果也会受到运动和距离等因素的影响;毫米波雷达虽然能直接获取目标的相对速度与距离,但是检测范围较小,无法覆盖远距离的目标[5]。相比之下,激光雷达可以通过主动扫描获得高精度的点云数据,不仅能精确捕捉物体表面信息,相较于其他传感器还具备较强的抗干扰能力和不同环境的适应能力[6]。但是,点云数据存在无序性,不能在空间中均匀地分布[7],处理难度较高。同时由于激光雷达技术起步较晚,相关算法尚未完全成熟,其在目标分类等关键环节仍存在不足之处。

鉴于此,采用多源信息融合的策略,将激光雷达与摄像头的数据有机结合,通过图像检测来补充点云数据中难以捕捉的细节信息,实现信息的互补,是当前三维目标检测最重要的研究方向[8]。


本文详细内容请下载:

http://www.chinaaet.com/resource/share/2000006835


作者信息:

韩德强,闫钊,杨淇善

(北京工业大学 计算机学院,北京 100124)


subscribe.jpg

此内容为AET网站原创,未经授权禁止转载。