基于多传感器信息融合的3维目标实时检测

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。     

基于级联YOLOv7的自动驾驶三维目标检测

针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet, F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest, RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。     

基于相机与激光雷达融合多目标检测算法研究

准确的多目标感知系统是自动驾驶技术的关键。本文提出了一种基于相机与激光雷达融合的多目标检测算法。针对相机传感器无法获得准确的目标距离等深度信息,激光雷达无法获得准确的目标类别信息的问题,首先采用嵌入自适应特征融合模块的YOLOv7网络处理相机数据,同时对激光雷达数据进行点云预处理以消除无用的噪声点;其次,利用坐标变换将激光点云数据和相机数据转换到像素坐标系中;最后,采用基于ROI感兴趣区域的方法对点云进行聚类处理,以参数加权的方式融合两种传感器的检测结果。实验结果表明,嵌入改进YOLOv7网络的融合算法能够检测出更加准确的目标信息。     

基于稀疏彩色点云的自动驾驶汽车3D目标检测方法

针对目前在自动驾驶汽车中,目标检测的点云分割与识别算法的准确率低等问题,提出一种稀疏彩色点云结构,该结构由摄像头采集的图像信息与激光雷达采集的点云信息进行空间匹配与特征叠加后生成.通过改进的PointPillars神经网络算法对融合后的彩色稀疏点云进行运算.实验结果表明,本方法在平均精度上比原算法有较大的提升,尤其是对...     

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。     

融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法

针对目前自动驾驶领域的目标检测算法在对道路小目标和密集目标进行检测的时候出现漏检的问题,提出一种融合Lite-HRNet的Yolo v5网络。首先为了获得高分辨率的特征检测图将Lite-HRNet作为Yolo v5的主干网络,以增强对小目标及密集目标的检测。为提升暗光场景下的检测性能,将红外图像与可见光图像进行动态权值融合,充分发挥可见光图像与红外图像的互补优势。由于主干网络进行了充分的特征融合,为加快检测速度取消在检测层中的特征融合结构。其次为了加快收敛速度和提高回归精度采用α-EIoU作为边界框损失函数,同时为选取针对数据集更合适的先验框,使用二分K-means算法进行聚类,并且使用小目标数据增强算法对数据集进行样本扩充。最后在flir数据集上进行对比测试,根据实验结果,提出的算法比Yolo v5在平均精度上提高了7.64%,小目标和密集目标的漏检率明显减少。     

基于交叉注意力机制的多模态感知融合方法

针对智能汽车道路目标检测任务中单一传感器感知能力有限、多传感器后融合处理复杂等问题,提出了一种基于Transformer交叉注意力机制的多模态感知融合方法。首先,利用交叉注意力机制能较好地融合多模态信息的优势,搭建了基于深度学习方式的端到端融合感知网络,用以接收视觉与点云检测网络的输出,并进行后融合处理。其次,对点云检测网络的三维目标信息进行高召回处理,与视觉图像检测器输出的道路目标信息一同作为网络的输入。最后,通过网络实现二维目标信息向三维信息的融合,输出对三维目标检测信息的修正,从而得到准确度更高的后融合检测信息。在KITTI公开数据集上的验证指标表明,通过所提融合方法引入二维检测信息后,相比较PointPillars、PointRCNN、PV-RCNN及CenterPoint四种基准方法,对车辆、骑行人、行人3种类别的综合平均提升分别为7.07%、2.82%、2.46%、1.60%。通过与基于规则的后融合方法对比,所提融合网络在行人和骑行人中等、困难样本检测上,分别有平均1.88%与4.90%的提升。进一步表明所提方法具有更强的适应性与泛化能力。最后,进行了实车试验平台的搭建及算...     

融合自适应光照预处理和深度学习的钢桥腐蚀检测方法

针对钢结构桥梁实桥腐蚀图像往往由于光照条件较差或光照不均匀导致腐蚀区域检测困难的问题,提出了一种融合自适应光照预处理方法和深度学习的钢桥腐蚀检测方法。首先,采用Global and Local Fusion(GLF)对比度增强算法结合KinD++低光增强模型的方法,对图像进行预处理;其次,采用粗标注结合K-means算法标注腐蚀区域得到分割标签;最后,采用原始图像和预处理后图像分别对UNet++网络进行了训练和测试,验证了所提出的预处理方法的有效性和优越性。结果表明：所提出的自适应光照预处理方法有效改善了实桥腐蚀图像的光照不均和低光照问题,修复和增强了细节和纹理特征信息,颜色保真度较高;所提出的数据标注方法能够精准标注腐蚀区域,减少边缘描绘工作;与原始图像相比,该方法预处理后的图像训练的模型在准确率、精确率、召回率、F1-score、交并比IoU和A_UC上分别提高了5.2%、2.7%、22.5%、19.4%、25.4%和10.5%;对于光照良好的均匀腐蚀图像,预处理对分割精度提高有限,对于点蚀图像,分割精度有较大的提高,对于低光照或光照均匀性较差的图像,分割精度得...     

融合残差网络和特征金字塔的小尺度行人检测方法

针对小尺度行人检测中存在的过拟合、特征不易对齐,以及易忽略多尺度特征等问题,研究了1种融合残差网络和特征金字塔的小尺度行人检测方法。考虑到原始残差网络在检测小尺度行人时过于依赖训练集而出现过拟合问题,构建带有丢弃层的残差块代替残差网络结构中的标准残差块来解决这一局限,同时利用丢弃层的正则作用降低计算过程的复杂程度。通过在特征金字塔网络的侧向连接部分嵌入特征选择模块和特征对齐模块,对输入图像中重要的行人特征加强和对齐,提升算法对行人的多尺度特征学习能力,弥补特征金字塔网络出现特征不易对齐和易忽略多尺度特征的缺陷,提高小尺度行人的检测精度。在Caltech Pedestrian数据集上对模型进行训练、测试和验证,实验结果表明：小尺度行人检测精度为73.6%,AP₅₀检测精度为95.6%。在同为50层残差网络和特征金字塔网络下,改进后的模型可以使AP值提高17.2%,AP₅₀提高7.8%,小尺度行人检测精度提高了21.6%;在同为101层残差网络和特征金字塔网络下,可以使AP值提高24.5%,AP₅₀提高8.2%,小尺度行人检...     

多线索融合的结构化道路检测算法研究

为实现结构化道路的检测，提出了一种用于道路检测的激光雷达和视觉融合法，通过提取激光雷达在道路边缘的三维点云信息，将其投影到视觉图像上，形成激光点云与图像的映射关系，生成激光雷达似然图。通过改进提取道路的颜色、纹理、水平线等特征的方法，生成相对应的视觉似然图。在贝叶斯框架下将激光雷达和视觉生成的似然图进行融合。在KITTI数据集上测试可知，精度达到94%，准确率达到86%，表明该道路检测法具有较好的道路检测果。     

基于体素柱形的激光雷达点云车辆目标检测算法

环境车辆是自动驾驶汽车行驶时的主要障碍物之一，对环境车辆的尺寸、位置、朝向等空间信息进行感知对于保障行驶安全具有重要意义。激光雷达点云数据包含了场景中物体表面扫描点的三维坐标，是实现车辆目标检测任务的重要数据来源。结合SECOND与PointPillars方法，提出一种基于体素柱形的三维车辆目标检测模型，利用三维稀疏卷积聚合点云局部特征，在体素特征图上构造柱形并进行特征编码，有效解决点柱形方法缺乏柱形间特征交互问题，增强点云特征的空间语义信息；基于均值池化操作生成锚框点云占据位图并提出一种简单负样本过滤策略，在模型训练阶段筛除预设在无点云覆盖区域的无效锚框，缓解正负样本或难易样本不均衡问题；在目标框回归模块中，使用类别置信度与交并比(IoU)预测值计算混合置信度，改善分类分支与位置回归分支结果不一致问题，并使用KITTI三维目标检测数据集进行模型训练与评估。研究结果表明：在严格判定标准下(IoU阈值设置为0.7),所提算法在简单、中等、困难3种难度级别下分别获得了89.60%、79.17%、77.75%的平均检测精度(AP_3D),与SECOND、PointPill...     

基于计算机视觉的钢桥面板裂纹识别方法

钢桥面板疲劳开裂为常见的钢桥病害，准确快速地发现并确定钢桥面板裂纹几何特征对降低运维成本、制定运维策略具有重要意义。针对传统人工巡检效率低、检测环境恶劣等问题，提出了基于计算机视觉的钢桥面板裂纹及其特征识别方法。采用目标检测网络YoloV5和图像语义分割网络U-Net++相结合的方法识别裂纹。根据2个网络的结构特性标注图像中的目标后生成数据集，并分别对网络中的参数进行训练。利用训练后的YoloV5与U-Net++分阶段对待测裂纹图像进行检测与分割，并通过阈值分割优化U-Net++分割结果，再通过骨架化后得到裂纹骨架线；在确定裂纹形貌后，采用YoloV5识别出的标定块求解透视变换矩阵与像素尺度系数，然后对裂纹骨架线进行图像矫正并确定裂纹几何特征。研究结果表明：YoloV5可准确检测出裂纹与标定块，且检测稳定性好；通过优化U-Net++训练时输入的像素尺寸，提高了U-Net++训练的收敛速度，网络损失由0.121降至0.096;求解透视变换矩阵时，使用所有角点坐标拟合该矩阵的最小二乘解可提高图像矫正标定的精度；当图像采集距离较远、角度较大时，角点投影误差增大，且该误差对角度更为敏感；不同图...     

基于三维点云数据的沥青路面裂缝识别方法

针对沥青路面二维裂缝图像识别精度较低的问题,文中借助三维激光扫描技术,利用三维点云数据所提取的裂缝特征验证二维图像裂缝特征的准确性,同时将提取的三维点云数据裂缝指标用于深度学习的准确率提升,以此提高裂缝图像的识别准确率。首先将获取的高精度二维图像进行图像增加、去噪、分割、特征提取等,然后通过对路表三维点云数据进行分类、滤波、融合,重建沥青路面路表三维形态模型,实现沥青路面裂缝的高效高精度识别与裂缝特征参数提取,利用密集卷积神经网络(DenseNet)的裂缝图像识别算法对200张验证图像进行测试。结果表明,通过利用三维点云数据对二维图像进行辅助判别的方法,可大幅提高裂缝图像的识别准确率,具有良好的普适性。     

基于MM-STConv的端到端自动驾驶行为决策模型

针对现有端到端自动驾驶模型输入数据类型单一导致预测精确度低的问题，选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入，并利用语义信息构建一种基于时空卷积的多模态多任务（Multimodal Multitask of Spatial-temporal Convolution，MM-STConv）端到端自动驾驶行为决策模型，得到速度和转向多任务预测参量。首先，通过不同复杂度的卷积神经网络提取场景空间位置特征，构建空间特征提取子网络，准确解析场景目标空间特征及语义信息；其次，通过长短期记忆网络（LSTM）编码-解码结构捕捉场景时间上、下文特征，构建时间特征提取子网络，理解并记忆场景时间序列信息；最后，采用硬参数共享方式构建多任务预测子网络，输出速度和转向角的预测值，实现对车辆的行为预测。基于AirSim自动驾驶仿真平台采集虚拟场景数据，以98 200帧虚拟图像及对应的车辆速度和转向角标签作为训练集，历经10 000次训练周期、6 h训练时长后，利用真实驾驶场景数据集BDD100K进行模型的测试与验证工作。研究结果表明：MM-STConv模型的训练误差为0.130 5，预测精确度达到83.6%，在多种真实驾驶场景中预测效果较好；与现有其他主流模型相比，该模型综合场景空间信息与时间序列信息，在预测车辆速度和转向角方面具有明显的优势，可提升模型的预测精度、稳定性和泛化能力。     

基于改进YOLOv5的雾霾环境下船舶红外图像检测算法

从监控图像中准确检测船舶对于港区水域船舶交通智能监管具有重要意义。为解决雾霾条件下传统YOLOv5目标检测算法对船舶红外图像检测准确率低、小目标特征提取能力弱等问题,提出了基于Swin Transformer的改进YOLOv5船舶红外图像检测算法。为扩大原始数据集的多样性,综合考虑船舶红外图像轮廓特征模糊、对比度低、抗云雾干扰能力强等特点,改进算法提出基于大气散射模型的数据集增强方法;为增强特征提取过程中全局特征的关注能力,改进算法的主干网络采用Swin Transformer提取船舶红外图像特征,并通过滑动窗口多头自注意力机制扩大窗口视野范围;为增强网络对密集小目标空间特征提取能力,通过改进多尺度特征融合网络（PANet）,引入底层特征采样模块和坐标注意力机制（CA）,在注意力中捕捉小目标船舶的位置、方向和跨通道信息,实现小目标的精确定位;为降低漏检率和误检率,采用完全交并比损失函数（CIoU）计算原始边界框的坐标预测损失,结合非极大抑制算法（NMS）判断并筛选候选框多次循环结构,提高目标检测结果的可靠性。实验结果表明：在一定浓度的雾霾环境下,改进算法的平均识别精度为93.73%,平...     

基于目标空间分布特征的无人机航拍车辆实时检测技术研究

针对无人机航拍视角下存在整体图像分辨率高但占比较高的小尺度车辆检测特征点稀少这一问题,从卷积网络检测器针对性优化与基于目标分布特征的航拍图像自适应切分2个角度综合考虑,提出一种基于目标空间分布特征的无人机航拍车辆检测网络DF-Net。以单阶段目标检测框架SSD为基础,引入深度可分离卷积和抗混叠低通滤波器对网络结构进行优化搭建E-SSD,为后续检测网络搭建提供高效检测器;接着基于条件生成对抗CGAN思想构建密度估计网络生成器,从而得到航拍图像中车辆的准确分布特征,生成高质量的车辆密度图;将E-SSD与车辆密度估计网络结合,对车辆密度图进行自适应切分,并将切分后的局部图像与全局图像一同输入E-SSD,最后在决策层融合检测结果,由此实现对航拍视角道路交通场景下车辆目标的精确高效检测。在试验中,一方面将设计的基于目标空间分布特征的无人机航拍车辆检测网络DF-Net与E-SSD进行对比分析,另一方面将DF-Net与航拍目标检测领域表现较为优秀的网络进行比较。研究结果表明：设计的方法对于2个试验在均值平均精度指标上均有提升,与E-SSD网络对比时提升了至少4.4%,与航拍目标检测领域优秀网络比较时也有一定提升,并保持了较好的实时性。     

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。     

基于无人机的悬索桥主缆自动巡检及小样本表观病害识别

为了实现悬索桥主缆的自动化、智能化检查,开展了基于无人机的主缆巡检路径规划和小样本数据下的主缆病害识别研究。首先,利用无人机倾斜摄影测量技术快速建立悬索桥的三维模型,提出主缆无人机自动巡检路径的规划方法;然后,采用Faster RCNN网络模型识别主缆图像中的表观病害;最后,采用基于图像融合的数据增强方法,提高小样本数据集下目标检测的准确率。在Faster RCNN网络模型训练过程中,随着训练轮次的增加,测试集中裂纹、锈蚀和划痕3类病害的平均精确率得到提升,并在第15个训练轮次后逐渐稳定,在经过100个训练轮次后,测试集中所有类别的平均精确率为0.723。以小龙湾桥为研究对象,进行了主缆的现场检查试验。研究结果表明：基于悬索桥三维模型进行主缆无人机自动巡检路径规划具有实际可行性;基于Faster RCNN网络模型能较准确地识别主缆的裂纹、锈蚀和划痕病害;利用图像融合方法生成病害数据能有效克服数据样本少的问题,并提高识别的准确性。     

基于Mask R-CNN网络模型的无人驾驶感知

近几年深度学习技术在图像检测方面的应用取得了极大的突破,利用卷积神经网络模型可高效且准确的识别目标。一种开源网络模型——Mask R-CNN,被用于无人驾驶感知检测,取得了较好的检测效果。为了进一步提高检测精度,提出迁移学习方法重新训练网络,使得网络更适用于无人驾驶领域的感知任务。     

基于3D视觉的机械臂无规则零件抓取系统

为解决机械臂抓取零件定位不准或抓取精度不高的问题，提出了一种基于3D视觉机械臂无规则零件抓取方法，该方法主要包括系统空间标定、零件点云定位分割、零件位姿估计算法模块，提出了基于2D图像的点云相机外参标定方法及基于图像语义分割的零件点云分割方法。经试验验证，所提出的标定方法达到1 mm的系统精度误差，而且求解效率高、通用性强；与常用的聚类分割相比，零件点云分割方法精度及效率更高。所设计的二阶段零件空间位姿计算方法能准确估计零件在空间中的6自由度位姿，相比单一阶段匹配方法精度提高约1.8倍。所提出的基于3D视觉的机械臂无规则零件抓取系统精度高、可扩展性强、适应情形广。